python高级搜索库

Question

我有大约80,000个文本文件，我希望能够对它们进行高级搜索。 假设我有两个关键字列表，我想返回至少包含第一个列表中的一个关键字和第二个列表中至少一个关键字的所有文件。 是否已经有一个库会这样做，如果它存在，我不想重写它。

Answer 1

由于您需要多次搜索文档，因此很可能需要对文本文件进行索引，以尽可能快地进行搜索。

实现一个合理的指数自己当然是可能的，但快速搜索导致我：

• https://pypi.python.org/pypi/Whoosh/
• http://pythonhosted.org/Whoosh/

看看文档。实现理想的行为应该是微不足道的。

Answer 2

我只是觉得你想使用MapReduce类型的处理进行搜索。它应该是非常可扩展的，Python应该有MapReduce包。