在最短时间内合并大小为60GB和10GB的索引索引的最佳方法是什么？

可以说，我有一个60GB的Solr索引。我想与它合并一个10GB Solr索引。在最短时间内合并它们的最佳方式是什么？有人可以给我一个性能基准测试合并过程的速度有多快？我使用JAVA来合并索引目录。在最短时间内合并大小为60GB和10GB的索引索引的最佳方法是什么？

非常感谢！

来源

2011-11-09 SSaikia_JtheRocker

我会用Lucene的IndexMergeTool合并这些索引。如果您需要将此功能嵌入到其他工具中，本课程将使用IndexWriter#addIndexes。如果你不需要你的索引进行优化，你甚至可以使用IndexWriter#addIndexesNoOptimize，这可能会更快。

来源

2011-11-09 15:56:08 jpountz

嗨jpountz，可以说我发出以下命令之一，以合并这两个指标目录， IndexMergeTool指数1（60GB）索引2（10GB）destIndex和， IndexMergeTool索引2（10GB）索引1（60GB）destIndex 哪一个以上是将最小指数合并成最大指数的理想选择？或者， IndexMergeTool将如何决定与最大索引合并的最小索引？ –

Lucene MergePolicy将计算合并段的最佳顺序，因此您不需要执行任何操作。只要运行'IndexMergeTool dest index1 index2'。（如果您对它的工作方式感兴趣，请参阅http://lucene.apache.org/java/3_2_0/api/all/org/apache/lucene/index/MergePolicy.html，自Lucene 3.2以来，默认实现是TieredMergePolicy，适用于旧版本的LogByteSizeMergePolicy）。 – jpountz

嗨Jpountz，如果你不介意的话，你能否给我一个预测，将一个60GB的文件与一个10GB的文件合并需要多少时间？ –

在最短时间内合并大小为60GB和10GB的索引索引的最佳方法是什么？

回答

相关问题