什么是更有效的方式来读取文本文件

Question

有文本文件（约300米），并需要计数前N个频率的单词。第一步是从磁盘读取它，现在我只需使用open.read().lower()（不区分大小写）是否有更有效的方法来处理IO部分？测试机有8核4G内存和Linux系统，python版本为2.6。

Answer 1

是的，过程行文件行的迭代器：

with open(filename) as inputfile: 
    for line in inputfile: 
     line = line.lower() 

这将缓冲器的读取性能，但不把尽可能多的压力，你的记忆，避免了必须换。

接下来，使用collections.Counter()为您做频率计数。它将以纯Python代码中最有效的方式处理计数并为您选择前N个单词。

一个天真的方式来获取单词将是拆分空白的行;结合与发电机表达式可以给你在一行代码中的所有字数：

from collections import Counter 

with open(filename) as inputfile: 
    counts = Counter(word for line in inputfile for word in line.lower().split()) 

for word, frequency in counts.most_common(N): 
    print '{<40} {}'.format(word, frequency) 

在Python 2.7版添加的Counter类;对于2.6你可以使用this backport。