我有很多配置单元表存储在HDFS中的5个节点的测试群集上。数据应该在70 Gb * 3左右(重新拼接)。不,我想将整个设置转移到具有更多节点的不同环境中。两个群集之间的网络连接是不可能的。将整个HDFS从一个群集传输到另一个群集
事情是,我没有太多的时间与新的群集,也没有可能测试转移与其他测试环境。所以我需要一个坚实的计划。 :)
我有什么选择?
如何在新集群上以最少的配置工作传输配置单元设置?
是否可以将5个节点的hdfs导向器复制到新集群的5个节点,然后将其余节点添加到新集群并启动平衡器?
我想避免这种情况遇到了一个小例子HOD。但由于这些文件都在一个目录中,所以这个过程不应该有很多步骤,对吧? – kroax
我不会认为这太难。可能只是需要时间。查看'hadoop fs -copyToLocal'和'hadoop fs -copyFromLocal'这将递归地复制整个目录,如果你传递一个目录的名字。 – dty