匹配txt文件中的每个单词

Question

我正在处理Project Euler问题（为了好玩）。 它配备了包含有超过名称的列表1号线在这样的格式46KB txt文件：

"MARIA","SUSAN","ANGELA","JACK"... 

我的计划是写一个方法来提取每一个名字，并把它们添加到一个Python列表。正则表达式是解决这个问题的最好武器吗？
我抬起头看Python re doc，但我很难找出正确的正则表达式。

Answer 1

如果该文件的格式为你说它是，即

1. 这是一个单行
   
2. 格式是这样的：“MARIA”，“苏珊”，“安吉拉” “JACK”

那么这应该工作：

>>> import csv 
>>> lines = csv.reader(open('words.txt', 'r'), delimiter=',') 
>>> words = lines.next() 
>>> words 
['MARIA', 'SUSAN', 'ANGELA', 'JACK'] 

Answer 2

看起来像csv模块可以帮助的格式。那么你不必写任何正则表达式。

Answer 3

正则表达式可以完成工作，但效率不高。使用csv可以工作，但它可能无法很好地处理单个行中的5000个单元。至少它必须加载整个文件并在内存中维护整个名称列表（对于您来说这可能不是问题，因为这是非常少量的数据）。如果你想为相对较大的文件的迭代器（远远大于5000名），状态机将这样的伎俩：

def parse_chunks(iter, quote='"', delim=',', escape='\\'): 
    in_quote = False 
    in_escaped = False 

    buffer = '' 

    for chunk in iter: 
     for byte in chunk: 
      if in_escaped: 
       # Done with the escape char, add it to the buffer 
       buffer += byte 
       in_escaped = False    
      elif byte == escape: 
       # The next charachter will be added literally and not parsed 
       in_escaped = True   
      elif in_quote: 
       if byte == quote: 
        in_quote = False 
       else: 
        buffer += byte 
      elif byte == quote: 
       in_quote = True 
      elif byte in (' ', '\n', '\t', '\r'): 
       # Ignore whitespace outside of quotes 
       pass 
      elif byte == delim: 
       # Done with this block of text 
       yield buffer 
       buffer = ''      
      else: 
       buffer += byte 

    if in_quote: 
     raise ValueError('Found unbalanced quote char %r' % quote) 
    elif in_escaped: 
     raise ValueError('Found unbalanced escape char %r' % escape) 

    # Yield the last bit in the buffer 
    yield buffer 

data = r""" 
"MARIA","SUSAN", 
"ANG 
ELA","JACK",,TED,"JOE\"" 
""" 
print list(parse_chunks(data)) 

# ['MARIA', 'SUSAN', 'ANG\nELA', 'JACK', '', 'TED', 'JOE"'] 

# Use a fixed buffer size if you know the file has only one long line or 
# don't care about line parsing 
buffer_size = 4096 
with open('myfile.txt', 'r', buffer_size) as file: 
    for name in parse_chunks(file): 
     print name 

Answer 4

如果你能做到这一点简单的，然后做更简单。无需使用csv模块。我不认为5000个名字或46KB是足够担心的。

names = [] 
f = open("names.txt", "r") 

# In case there is more than one line... 
for line in f.readlines(): 
    names = [x.strip().replace('"', '') for x in line.split(",")] 

print names 
#should print ['name1', ... , ...]