在6000行csv/json文档中搜索和聚合

Question

我正在寻找一个很好的解决方案，用于在文档中进行全文搜索， 6000行，每列6列。

我目前已经尝试过Meteor和MongoDB，但是我在做聚合时遇到了高CPU问题，并且pub/sub响应时间很慢。

我需要搜索多个单词，并总结/汇总一个数字字段。

哪些技术是值得期待的，为一个快速简便的设置？

Answer 1

流星的pub/sub不适合一次发送大型数据集。它专为反应式更新数据而设计（自动更新数据更改）。

在最佳条件下，通过延迟加载，使用限制将这些数据以小块发送到客户端，并按需完成。

但是，Mongoldb本身很适合在大型数据集中搜索！您可以搜索该主题。

的 “在大的数据集MongoDB中搜索” google搜索的第一个结果返回这些文章：

https://www.mongodb.com/big-data-explained

http://johnpwood.net/2011/05/31/fast-queries-on-large-datasets-using-mongodb-and-summary-documents/

这可能是一个起点。

然后，您可以尝试在流星的服务器端坚持使用您的搜索/聚合，并且仅将的结果返回给客户端（使用延迟加载机制）。

关于你的CPU负载，你也可以考虑的第一篇文章和解决办法“贪婪查询”：

https://docs.mongodb.com/manual/core/query-optimization/