在Python中索引CSV文件内容

Question

我有一个非常大的CSV文件只包含两个字段（id，url）。我想用python做一些关于url字段的索引，我知道有一些工具比如Whoosh或者Pylucene。但我无法得到这些例子的工作。有人可以帮我弄这个吗？

Answer 1

FILE.CSV内容：

a,b 
d,f 
g,h 

加载它全部变成一个巨大的字典

Python脚本：

#Python 3.1 
giant_dict = {id.strip(): url.strip() for id, url in (line.split(',') for line in open('file.csv', 'r'))} 

print(giant_dict) 
{'a': 'b', 'd': 'f', 'g': 'h'} 

Answer 2

PyLucene是很容易的工作，但你有没有张贴您的例如我不知道你面临什么问题。

或者，当你只有key：value类型的数据时，可能会比Pylucene更好，像DB Berkeley DB（python绑定pybsddb）。它将像Python字典一样工作，并且应该比lucene更快或更快，您可以尝试。