如何在hadoop配置中正确设置s3a配置？

Question

我得到奇怪的错误，如 - 无法获取新闻凭据或无法加载凭据...

有没有什么办法显式设置在hadoop配置s3a凭据？

Answer 1

由于S3A是相对较新的实现（从Hadoop的2.7正常工作），你需要设置Hadoop配置两组属性 -

conf.set("fs.s3a.access.key", access_key); 
    conf.set("fs.s3a.secret.key", secret_key); 
    conf.set("fs.s3a.awsAccessKeyId", access_key); 
    conf.set("fs.s3a.awsSecretAccessKey", secret_key); 

（CONF是Hadoop配置）

的原因是命名惯例在版本之间改变并且在安全方面 - 设置