备份Hadoop以安装新群集，最佳做法

Question

我正在构建新的Hadoop群集（扩展节点数量并扩展当前节点的容量）并需要备份所有现有数据。现在，我只是将所有内容都打包并发送到另一台服务器。

有没有更聪明的方法来做到这一点，这将允许我一旦建立新集群就可以轻松部署？

编辑：我还应该指出，我没有在群集上存储任何数据。我将数据带入群集，处理它，然后将处理后的数据发送回原始服务器。群集上的任何临时数据都被删除。

Answer 1

使用Distcp将HDFS数据传输到其他群集或任何云，以便存储数据。 如果您想安排备份过程，您可以利用OOZIE-DISTCP进行备份过程！