Python检测到破损的编码

Question

抓取很多网站后，其中一些网站收到破解的编码数据。我无法对他们做任何事情，我只需要检测他们。对于像示例文本：

·ç¼wÃdª«|ʳf

或

ãà³n³¾å¢

我怎么能认识这样的文本？我使用任何语言，因此搜索非英文文本不是一种选择。我能想到的唯一选择是猜测语言模块。

Answer 1

有NLTK它有一个函数需要一个字节字符串，并尝试所有可用的编码，这是否会达到您的目的？

Answer 2

看看https://github.com/LuminosoInsight/python-ftfy

如果我理解正确的话，它会尝试“修复”不正确编码/解码的文本。