Streaming AP：跟踪关键字导致“错误：非UTF-8代码...但没有声明的编码”

Question

我有一个运行代码使用tweepy的流侦听器来流推文。它工作得很好，我已经成功运行了几次，都使用了阿拉伯文，英文和法文关键字。

出于某种原因，当我插入我的整个组关键字（397）错误代码导致读取

SyntaxError: Non-UTF-8 code starting with '\xd9' in file twitter_streaming_copy.py on line 67, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 

很奇怪的是，我试图运行使用该组的不同部分的代码关键字，它工作正常，只有当我把它们放在一起，停止工作。任何想法？这里是我的代码：（我使用python 3）

# Chap02-03/twitter_streaming.py 
#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
import sys 
import string 
import time 
import tweepy 
from tweepy import Stream 
from tweepy.streaming import StreamListener 
consumer_key = ".." 
consumer_secret = ".." 
access_key = ".-." 
access_secret = ".." 


class CustomListener(StreamListener): 
    """Custom StreamListener for streaming Twitter data.""" 

    def __init__(self, fname): 
    safe_fname = format_filename(fname) 
    self.outfile = "stream_%s.jsonl" % safe_fname 

    def on_data(self, data): 
    try: 
     with open(self.outfile, 'a') as f: 
     f.write(data) 
     return True 
    except BaseException as e: 
     sys.stderr.write("Error on_data: {}\n".format(e)) 
     time.sleep(5) 
    return True 

    def on_error(self, status): 
    if status == 420: 
     sys.stderr.write("Rate limit exceeded\n") 
     return False 
    else: 
     sys.stderr.write("Error {}\n".format(status)) 
     return True 

def format_filename(fname): 
    """Convert fname into a safe string for a file name. 

    Return: string 
    """ 
    return ''.join(convert_valid(one_char) for one_char in fname) 

def convert_valid(one_char): 
    """Convert a character into '_' if "invalid". 

    Return: string 
    """ 
    valid_chars = "-_.%s%s" % (string.ascii_letters, string.digits) 
    if one_char in valid_chars: 
    return one_char 
    else: 
    return '_' 

if __name__ == '__main__': 
    query = sys.argv[1:] # list of CLI arguments 
    query_fname = ' '.join(query) # string 
    auth = tweepy.OAuthHandler(consumer_key, consumer_secret) 
    auth.set_access_token(access_key, access_secret) 
    api = tweepy.API(auth) 
    twitter_stream = Stream(auth, CustomListener(query_fname)) 
    twitter_stream.filter(track=['saudi لبنان', 'iran لبنان', 'iran lebanon', 'ايران لبنان', 'hezbollah lebanon', 'حزب الله لبنان', 'saoudite liban', 'iran liban', 'hezbollah liban'], async=True) 

Answer 1

您没有保存源文件为UTF-8。正确配置您的编辑器。

或者，在顶部调整您的编码注释; Python 3的默认值是UTF-8，但如果您使用了不同的编解码器，则需要在该评论中指定它。但是，编码注释应该出现在您的文件的第一个两个行。你有它在第三行。从PEP linked in the error message报价：

To define a source code encoding, a magic comment must be placed into the source files either as first or second line in the file[.]

（粗体重点煤矿）

重新安排你的意见：

​​

我感动的第一个注释下降; #!行必须是文件中的第一行才能工作。你也可以完全删除它，因为你没有使用它。

Answer 2

我通过将文件保存为Windows-1256（阿拉伯语）再现与下面的代码类似的错误：

# Chap02-03/twitter_streaming.py 
#!/usr/bin/env python 
# -*- coding: utf-8 -*- 
s = ['saudi لبنان', 'iran لبنان', 'iran lebanon', 'ايران لبنان', 'hezbollah lebanon', 'حزب الله لبنان', 'saoudite liban', 'iran liban', 'hezbollah liban'] 

输出：

File "C:\test.py", line 4 
SyntaxError: Non-UTF-8 code starting with '\xe1' in file C:\test.py on line 4, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 

@马亭的答案是正确的，因为coding行必须是在前两行中，但UTF-8无论如何都是Python 3中的默认编码。如果文件以UTF-8格式保存，即使对错误行的评论也可以正常工作，但文件也必须保存在声明的编码中。