java中的多字节编码

Question

我不知道如何添加多字节编码支持，并且对多字节语言知之甚少。 正在使用搜索引擎，我的应用程序使用所有编程语言扫描代码。 某些源代码可能在其注释部分使用CJK编码。 为了方便起见，我将java作为源代码示例，我的应用程序也在java中。

首先，我想编写测试用例来查看待索引的源代码是否具有CJK编码，以及它是否由我的应用程序编码。 如果支持不包含，我希望我的测试失败，以便将来可以添加。

但是我不知道如何测试它， 如何在单元测试的输入样本中引入CJK，以及在Java应用程序控制台中输出什么。

Answer 1

Byte Order Mark的存在可能有用，但它们是可选的。还有其他方法可以在使用UTF时确定编码。这可能是有用的：Java : How to determine the correct charset encoding of a stream。