无法启动罐子星火带命令火花提交

我尝试推出了tSystem组件拓蓝罐子火花但我有一个错误：无法启动罐子星火带命令火花提交

命令tSystem：

"cmd /c spark-submit --class reprisesComptesExistants.PhasePreliminaire.main --master local[5] C:/Users/A661758/dataintegrationRepriseExistant/target/scala-2.11/dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar"

错误：

Warning: Skip remote jar C:/Users/A661758/dataintegrationRepriseExistant/target/scala-2.11/dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar. 
java.lang.ClassNotFoundException: reprisesComptesExistants.PhasePreliminaire 
    at java.net.URLClassLoader.findClass(Unknown Source) 
    at java.lang.ClassLoader.loadClass(Unknown Source) 
    at java.lang.ClassLoader.loadClass(Unknown Source) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Unknown Source) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:229) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:695) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
[statistics] disconnected 
Job test1 terminé à 13:54 16/06/2017. [Code sortie=0]

来源

2017-06-16 Mounir Hamdane

本地： - 以本地：/开头的URI预期作为每个工作节点上的本地文件存在。这意味着，没有网络IO将发生，并非常适用于大型文件/ JAR文件，它们通过NFS推到每个工人，或共享，GlusterFS等

尝试的文件URI之前添加local:/像这样：

local:/C:/Users/A661758/dataintegrationRepriseExistant/target/scala-2.11/dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar

还是摆脱窗户FS路径问题，只要把你的罐子在HDFS和使用synthax：

hdfs://hostname:9000/path/dataintegrationRepriseExistant-assembly-0.1.0-SNAPSHOT.jar

来源

2017-06-16 14:54:55 54l3d

请确保您映射类名称correclty。
它应该是package.classname，如com.company.test.Classname。
“com.company.test”是你的包，Classname是你的类。

如果您使用的是talend bigdata平台V6.2.1，我建议您使用bigdata批处理作业而不是standarad作业。

来源

2017-06-16 12:58:25

我有同样的错误 –

无法启动罐子星火带命令火花提交

回答

相关问题