错误：权限被拒绝：'/用户

Question

当我试图复制AWS S3桶到HDFS，我发现了错误：

Permission denied: '/user'

下面是我的脚本

aws s3 sync s3://folder1.folder2/file.json /user/hive/warehouse/my.db/json_table 

请帮忙 ！

Answer 1

S3 sync不识别HDFS路径。

要么使用，

• hadoop distcp配置后，所有的S3相关properties。
• S3DistCp，这需要s3distcp.jar。
• 如果文件很小，则sync将文件保存到localpath，copyFromLocal保存到HDFS。