当我尝试输出UTF-8字符时，为什么会得到三个不同的数字？

Question

我想标记输入由UTF-8字符组成。虽然有些尝试学习utf8我得到了一个我无法理解的输出。当我输入字符π（pi）时，我得到三个不同的数字207 128 10.我如何使用它们来控制它属于哪个类别？

ostringstream oss; 
oss << cin.rdbuf(); 

string input = oss.str(); 
for(int i=0; i<input.size(); i++) 
{ 
    unsigned char code_unit = input[i]; 
    cout << (int)code_unit << endl; 
} 

在此先感谢。

Answer 1

使用UTF-8编码的字符可能占用多于一个字节（并且经常这样做）。用于编码单个代码点的字节数可以从1个字节到6个字节（或RFC 3629下的4个）不等。在π的情况下，二进制的UTF-8编码是：

11001111 10000000 

也就是说，它是两个字节。您正在单独读取这些字节。第一个字节有十进制值207，第二个有十进制值128（如果你理解为一个无符号整数）。您正在阅读的以下字节的十进制值为10，并且是您在输入时提供的换行符。

如果您打算对这些UTF-8字符进行任何处理，您将需要解释字节的含义。你需要做什么取决于你如何对角色进行分类。