python中BM-25搜索算法的实现

Question

我正在设计一个基于okapi bm25的python搜索引擎，我应该用什么来存储页面数据（相关性等）以及tf，idf的快速访问？ python的架子是否足够适合可扩展的设计？

谢谢。

Answer 1

我建议你看看wiredtiger它是一个功能强大的keyvalue存储库，比leveldb或bsddb（货架模块使用bsddb）更快，可以构建存储。他们是不同的模式revelant在这里你可以看看关于leveldb或bsddb的问题stackoverflow。

如果您是关键/超值商店的新手，我建议您使用leveldb和plyvel，这是一个好的开始，但不像有线手机那样成比例。