将文件从本地复制到Hadoop

我想每小时将更新的文件从本地文件系统复制到Hadoop，因为我想放置在cron中。是否有任何hadoop命令可用于将更新的文件从本地复制到Hadoop？将文件从本地复制到Hadoop

2016-11-01 John

在最简单的情况下，你可以做一个shell脚本来删除旧文件，并把使用Hadoop FS新一-rm fileName和hadoop fs -put sourceFile destinationPath –

“是否有任何hadoop命令” - 是的，这是您用来手动复制文件的那个。你有没有试过编写cron作业？ –

谢谢，但我们如何知道文件是否已更新，或者我们需要多长时间运行一次上述命令才能复制最新文件。 – John

您可以使用各种数据摄取工具，如水槽，Nifi等

请让我知道你是否需要对这些工具的帮助。

2016-11-01 15:48:58

嗨Kushagra，请分享您的详细信息，以便我可以学习这些工具。 – John

像下面的代码？在文件夹与文件

files=$(find . -type f -mmin -60) 

for f in $files 
do 
    hadoop fs -cp $f /hadoopdest 
done

也许另一个循环为创建的文件：

files_c=$(find . -type f -cmin -60)

2016-11-01 16:02:27 Kacper

回答