2015-12-18 122 views
0

我使用下面的命令提交火花诊断:java.io.FileNotFoundException:

bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster 
--executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 
1000 

并获得java.io.FileNotFoundException:我可以在我的群集纱的应用情况,请参阅为失败。

罐子在该位置可用。当使用集群模式spark提交时,是否需要放置此jar的特定位置?

Exception: 

Diagnostics: java.io.FileNotFoundException: File file:/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar does not exist 
Failing this attempt. Failing the application. 
+0

你能发布整个异常吗?因为我不知道哪个文件丢失。它可能是你在应用程序中加载的文件,它可能是任何东西...... – Markon

+0

你是否看到类似于“信息客户端:上传资源文件:x-service-1.0.0-201512141101-assembly.jar”的日志火花提交控制台? –

+0

@ShawnGuo不,我没有看到这样的反馈 – nish1013

回答

0

您必须将jar文件传递到执行节点,方法是将它添加到spark-submit的“--jar”参数中。例如。

bin/spark-submit --class com.my.application.XApp 
--master yarn-cluster 
--jars "/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar" 
--executor-memory 100m 
--num-executors 50 
/Users/nish1013/proj1/target/x-service-1.0.0-201512141101-assembly.jar 1000