无法在YARN上运行Spark 1.2

我无法在使用Spark 1.2的YARN上运行简单的Java应用程序。无法在YARN上运行Spark 1.2

当运行：

spark-submit --class SQL --master yarn-client --executor-memory 2g 
--executor-cores 1 target/learning-spark-mini-example-0.0.1.jar

执行期间，spark-assembly-1.2.0-hadoop2.4.0.jar在网络上，这需要很长的时间传输。看起来很奇怪，为什么要上传这么大的文件？它不应该已经在集群上吗？

这里是我正在使用的配置： http://pastebin.com/qVsC5qdM。

应该指出，没有任何用户名或密码是任何指定的。我不清楚我应该在哪里设置它们。 Spark尝试在群集上使用我本地的“lorenzo”用户名（它也存在于此处）。

任何帮助将不胜感激。

2015-04-26 Lorenzo

如何发布实际代码？ –

在运行自己的代码之前，您是否尝试过运行提供的示例应用程序之一，只是为了检查问题是否在配置中？ –

我还没有运行示例代码。代码没有做任何事......这里虽然是http://pastebin.com/XaxGhBV8我肯定它是一个配置错误的国王。 – Lorenzo

这可能会最终成为其他人也报告的NoClassDefFoundError: org/apache/hadoop/service/CompositeService。

要排除，请看看here。

2015-04-26 23:16:47

我使用Linux，所以并非如此。不管怎么说，我试着在集群内运行spark-submit，它工作正常。 – Lorenzo

我认为这个错误不会发生在Win上，我的错误。 –

回答