将Solr HDFS数据复制到另一个群集

我有一个solr云（v 4.10）安装，位于Cloudera（CDH 5.4.2）HDFS之上，每个虚拟机包含3个solr实例，每个虚拟机包含每个核心的碎片。我正在寻找一种方法来逐步将solr数据从我们的生产群集复制到我们的开发群集。有3个核心，但我只是有兴趣复制其中的一个。将Solr HDFS数据复制到另一个群集

我试过使用Solr复制 - 备份和恢复，但似乎没有加载任何东西到开发集群。

http://host:8983/solr/core/replication?command=backup&location=/solr_transfer&name=core-name 
http://host:8983/solr/core/replication?command=restore&location=/solr_transfer&name=core-name

我也试图在快照/ Solr的DIR在HDFS集群PROD和使用Hadoop的disctp复制文件，但Solr的索引中删除一些文件，所以DistCp使用作业失败。

hadoop distcp hftp://prod:50070/solr/* hdfs://dev:8020/solr/

任何人都可以帮我吗？

来源

2015-12-07 Josh

您是否设法得到答案？ – Viraj

no - 我目前：（1）停止开发集群（2）使用rsync复制UNIX文件（3）启动集群，这远非理想但它确实工作 – Josh

备份和恢复不适用于solr 4.10 。你最后怎么工作？ – kartik

经过很多尝试，这是我们制定的解决方案。 - 在第二个环境中初始化所有集合中的solr，方式与主要集合相同。 - 拍摄HDFS的快照 - 使用hadoop hdfs -cp将数据复制到检查点第一次运行后，复制作业将很快，因为您只复制增量。

来源

2016-11-03 14:11:13 Josh

将Solr HDFS数据复制到另一个群集

回答

相关问题