2017-02-07 150 views
1

我必须将一些HDFS文件从我的生产群集移到开发群集。根据文件修改时间移动到开发集群后,我必须在HDFS文件上测试一些操作。需要具有不同日期的文件在dev中进行测试。如何通过保留修改时间将HDFS文件从一个群集复制到另一个群集

我试着用DISTCP做,修改时间正在用当前时间更新。我通过使用许多参数来检查Distcp distcp version2 guide

是否有任何其他方法可以在不更改修改时间的情况下获取文件?或者可以在将文件转换为hdfs后手动更改修改时间?

在此先感谢

回答

1

使用-pt标志和hadoop distcp命令。这将p保留t distcp'd文件的imestamp(修改时间)。

hadoop distcp -pt hdfs://src_cluster/file hdfs://dest_cluster/file 

测试用Hadoop-2.7.3

参考最新Distcp Guide

+0

它的工作,感谢弗兰克:) – Rob

相关问题