构建一个全文搜索引擎：从哪里开始

我前段时间面临类似的问题。我需要一种快速的方法来搜索来自文档的文本和megs文本。我需要匹配的不仅仅是单词，而是大文件中的文字接近（这个词在附近那个单词）。我刚刚用C写完，速度让我感到惊讶。它速度很快，不需要任何优化或索引。由于现代计算机的速度，如果您编写的代码直接在金属上编译（编译代码），您通常不需要订单日志（n）类型的算法来获得所需的性能。

来源

2008-10-06 22:58:42

阅读Tim Bray的series of posts on the subject。

背景

搜索引擎

基础

精度和使用召回

搜索engne智能

整蛊搜索字词

停用词

元

国际

排名结果

XML

机器人

要求列表

来源

2008-10-07 02:06:11

我刚刚发现这篇文章本周末：http://www.perl.com/pub/a/2003/02/19/engine.html

看起来不是太复杂做一个简单的（虽然它可能需要重优化是肯定的企业类型的解决方案）。我打算用Project Gutenberg的一些数据尝试一个概念验证。

如果您只是在寻找可以探索和学习的东西，我认为这是一个好的开始。

来源

2008-10-07 02:40:28

Lucene或Autonomy！这些都不是开箱即用的解决方案。你将不得不在他们的接口上编写包装器。
他们肯定会照顾词干，语法，关系运营商等

来源

2008-10-07 10:41:51 Cherian

书Introduction to Information Retrieval提供了一个很好的介绍该领域。

死树的版本由剑桥大学出版社出版，但您也可以在上面的链接中找到免费的在线版（HTML和PDF）。

来源

2008-10-08 01:37:25

查看“管理千兆字节”这本书，它涵盖了大量纯文本数据的存储和检索 - 例如。压缩和实际搜索，以及各种可用的算法。

此外，对于纯文本检索，最好使用基于矢量的搜索系统而不是关键字 - >文档索引系统，因为基于矢量的系统可以更快，而且更重要的是可以提供相对平庸的相关性排名。

来源

2008-10-08 02:26:31 olliej

-1

试试这个：假设变量表是您的搜索条目列表。

query = input("Query: ").strip().lower()#Or raw_input, for python 2 
end = [] 
for item in table: 
    if query in item.strip().lower(): 
     end.append(item) 

print end #Narrowed results

它只是遍历所有项目来查看查询是否在其中任何一个。它适用于简单的应用内搜索功能。虽然可能不是整个互联网。

来源

2017-01-04 21:45:06 PythonMaster

构建一个全文搜索引擎：从哪里开始

回答

相关问题