字符串处理错误：UnicodeDecodeError：'utf8'编解码器无法解码

Question

我试图分析一系列频率的密码。我的脚本正在处理其他输入媒体，但是看起来我的当前数据集中存在一些不好的字符。我怎样才能解决“坏”数据？

import re 
import collections 
words = re.findall('\w+', open('rockyou.txt').read().lower()) 
a=collections.Counter(words).most_common(50) 
for word in a: 
    print(word) 

然后我得到的错误：

Traceback (most recent call last): 
    File "shakecount.py", line 3, in <module> 
    words = re.findall('\w+', open('rockyou.txt').read().lower().ASCII) 
    File "/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/codecs.py", line 300, in decode 
    (result, consumed) = self._buffer_decode(data, self.errors, final) 
UnicodeDecodeError: 'utf8' codec can't decode byte 0xf1 in position 5079963: invalid continuation byte 

任何想法？

Answer 1

您的代码并不完全符合您的错误（我假设尝试调试？），但您的文本文件不是UTF-8。

您需要手动指定的编码，与我最好的猜测是latin-1：

words = re.findall('\w+', open('rockyou.txt', encoding='latin-1').read().lower()) 

，如果你想继续，尽管错误

，你可以通过errors='ignore'或errors='replace'到open。