UnicodeEncodeError创建.csv文件

我想创建一个.csv文件，其中包含我已经存储到Twitter搜索API列表中的数据。我使用我选择的关键字（本例中为'reddit'）保存了最后100条推文，并且我试图将每条推文保存到.csv文件中的单元格中。我的代码如下，我返回一个错误是：UnicodeEncodeError创建.csv文件

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 0: ordinal not in range(128)

如果有人知道我能做些什么来解决这个问题，将不胜感激！

import sys 
import os 


import urllib 
import urllib2 
import json 
from pprint import pprint 
import csv 

import sentiment_analyzer 

import codecs 

class Twitter: 
    def __init__(self): 
     self.api_url = {} 
     self.api_url['search'] = 'http://search.twitter.com/search.json?' 

    def search(self, params): 

     url = self.make_url(params, apitype='search') 
     data = json.loads(urllib2.urlopen(url).read().decode('utf-8').encode('ascii',  'ignore')) 

     txt = [] 
     for obj in data['results']: 
      txt.append(obj['text']) 

     return '\n'.join(txt) 

    def make_url(self, params, apitype='search'): 


     baseurl = self.api_url[apitype] 
     return baseurl + urllib.urlencode(params) 


if __name__ == '__main__': 
    try: 
     query = sys.argv[1] 
    except IndexError: 
     query = 'reddit' 

    t = Twitter() 

    s = sentiment_analyzer.SentimentAnalyzer() 

    params = {'q': query, 'result_type': 'recent', 'rpp': 100} 

    urlName = t.make_url(params) 
    print urlName 
    txt = t.search(params) 

    print s.analyze_text(txt) 

    myfile = open('reddit.csv', 'wb') 
    wr = csv.writer(myfile, quoting=csv.QUOTE_MINIMAL) 
    wr.writerow(txt)

来源

2012-12-10 Neemaximo

从Python 2文档为csv模块：

注意

这csv模块的版本不支持Unicode输入。此外，目前有一些关于ASCII NUL字符的问题。因此，所有的输入应该是UTF-8或可打印的ASCII以保证安全; 请参阅部分Examples中的示例。

这就是说，你可能可以解析.csv文件了，而无需使用Python的内置Unicode字符串的支持太大困难 - 有也是这个answer。

来源

2012-12-10 00:10:43 martineau

+1。引用的例子甚至似乎对这种情况有一些东西。 – abarnert

你意识到这样的问题正是我假设你有一个很好的理由坚持的Python 2而不是Python的3.也许你想在部署这个背后的Python 3的原因

一个托管网站，可以为你提供Python 2.7，就是这样，或者你正在运行一个Python 3尚未被移植到的古老操作系统，或者其他任何东西。

但是，如果没有，只需切换。 Python 2中的csv模块不处理Unicode，即使明确地进行了编码/解码，也存在一些奇怪的怪癖; Python 3中的所有Unicode都是Unicode，并且依赖于底层的file对象来处理底层字符集。

您需要更改几件事情，但2to3 -w twitter.py会照顾它，除了可能从open('reddit.csv', 'wb')删除b。

来源

2012-12-10 01:14:23 abarnert

UnicodeEncodeError创建.csv文件

回答

相关问题