ascii编解码器无法解码位于Ubuntu/Python中的位置错误中的字节0xe3，但无法在OS X/Python上解码

Question

我现在在Ubuntu 13.04和Python 2.7.4上，并试图运行包含以下行的脚本：

html = unicode(html, 'cp932').encode('utf-8') 
html1, html2 = html.split(some_text) # this line spits out the error 

但是，当我在Ubuntu 13.04上运行上述脚本时，它发现错误UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 106: ordinal not in range(128)。但是，这个完全相同的脚本总是可以在OS X 10.8和Python 2.7.3上成功执行。所以我想知道为什么错误只发生在两个平台之一...

我首先想到的是，特别是在看完这篇文章后（UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 1）是因为我处于不同的LANG环境，我在OS X上使用jp_JP.UTF-8，但在Ubuntu上使用en_US.UTF-8。所以我也试着在上面提到的脚本中再增加一行os.environ['LANG'] = 'jp_JP.UTF-8'，但是仍然有同样的错误。

另一个奇怪的现象是，当我尝试从Ubuntu的IPython shell中运行脚本并在错误发生后立即进入调试模式，然后运行最初触发错误的行时，我没有错误更多...

那么这里发生了什么？我错过了什么？

在此先感谢。

Answer 1

你还没有给我们足够的信息可以肯定的，但有一个很好的机会，这是你的问题：

如果some_text是unicode对象，那么这行：

html1, html2 = html.split(some_text) # this line spits out the error 

...在str上调用split，并传递unicode参数。每当在相同的调用中混合使用str和unicode时，Python 2.x会通过在str上自动调用unicode来处理该问题。所以，这就是等价于：

html1, html2 = unicode(html).split(some_text) # this line spits out the error 

...这相当于：

html1, html2 = html.decode(sys.getdefaultencoding()).split(some_text) # this line spits out the error 

...如果有任何非ASCII字符html，这将无法完全按照你所看到的。

---

简单的解决方法是显式编码some_text为UTF-8：

html1, html2 = html.split(some_text.encode('utf-8')) 

不过，我个人甚至不会尝试与str对象来自3个不同的字符集都在同一个程序中工作。为什么不只是decode/encode在非常边缘，只处理unicode到处都是对象？