使用s3a获取驱动程序和执行程序中的火花瓶

Question

我想使用驱动程序/执行程序模型在AWS上使用Spark。似乎没有办法设置驱动程序类路径，以便它可以使用hadoop-aws jar和aws-sdk jar来访问s3。我想从s3拉我的工作罐子。

好像我需要将所有这些类添加到火花组装jar，或者我需要修改spark-class脚本以手动将这些jar添加到类路径中？

有没有更少的侵入方法，即任何方式只是在配置的某个地方指定这个？

我正在运行1.6.1和hadoop 2.4，但我希望我也可以使用2.6（同样的问题）。

Answer 1

不知道如果我理解正确的，但你应该能够设置spark.driver.extraClassPath和/或根据docs

恕我直言spark.driver.extraLibraryPath属性，同样的事情应该是通过指定--jars命令行选项可实现当使用​​时，请参阅​​的help output。