无法写入火花的作业输出到S3存储桶直接

Question

我有将其结果写入到S3存储星火工作，事情是当输出斗名看起来像这样S3A：// BUCKET_NAME /我得到一个错误

Caused by: com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 404, AWS Service: Amazon S3, AWS Request ID: xxx, AWS Error Code: NoSuchKey, AWS Error Message: null, S3 Extended Request ID: xxx 

但是当我在输出桶（s3a：// bucket_name/subfolder /）中添加一个子文件夹时，它起作用！

我使用hadoop-aws 2.7.3从s3读取。

是什么问题？

在此先感谢。

Answer 1

不是火花错误。问题S3客户端如何使用根目录。他们是“特别的”。 HADOOP-13402看着它。您在那里的代码显然来自亚马逊自己的对象存储客户端，但显然它的行为方式相同。换个角度考虑：你不会把工作交给“file：///”或“hdfs：///”;一切都需要一个子目录。

对不起。