urllib：获取utf-8编码的网站源代码

Question

我试图抓取一些网站的一部分。该脚本有效，但它是一个有á，é，í，ó，ú等口音的网站。

当我使用urllib或urllib2获取网站时，网站源代码不是用utf-8编码的，我希望它是utf-8支持这些重音符号。

我相信目标网站是UTF-8，因为它包含了以下meta标签编码：

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

我的Python脚本：看起来

opener = urllib2.build_opener() 
opener.addheaders = [('Accept-Charset', 'utf-8')] 
url_response = opener.open(url) 
deal_html = url_response.read().decode('utf-8') 

不过，我不断收到结果就像他们没有编码un utf-8一样。

E.g： “米兰” 的网站= “军用\ xe1n” 后的urllib2获取它

有什么建议？

Answer 1

您的脚本工作正常。 "\xe1"字符串是解码产生的unicode对象的表示形式。例如：

>>> "Mil\xc3\xa1n".decode('utf-8') 
u'Mil\xe1n' 

的"\xc3\xa1"序列是福斯产品带有音调符号标记的UTF-8序列：a。