从另一个solr导入数据的速度非常慢

Question

我正在使用SolrEntityProcessor从另一个solr导入数据。它正在工作，但速度只有30文件/秒，这是我从SQL Sever（7000文件/秒）导入的重量。

我想知道我是否缺少一些东西，以及是否有任何方法来提高速度。

有关我的solr云的小信息。我在三台不同的服务器上有3个碎片，并且它们都在同一个域中。

在此先感谢。

Answer 1

从SolrEntityProcessor gets slower and slower

SolrEntityProcessor报价是为精细少量数据，但对于这样的大的索引没有用处。问题在于搜索结果中的深度分页很昂贵。随着查询的“开始”值增加，查询的开销也增加。只是重新编制索引数据，你会好得多。

要解决此问题：

常见的方式来处理这个问题是一个值 将返回较少的结果每个查询，作为CREATION_DATE场过滤，每 查询变化这现场范围。对于您的数据导入用例，您可能需要 生成具有不同实体的data-import.xml，每个用于 另一个creation_date范围。因此不需要深度分页。