2015-06-09 39 views
1

我在安装hadoop的Google Cloud Platform上执行项目。我用scala编写了一个程序,并使用sbt 的汇编指令创建了一个可执行的JAR。现在我必须上传并在我的平台上运行它。我试图使用命令spark-submit --class "Hi" provaciao.jar ,但即使它在火花独立的本地工作,我也会得到一个错误。 我使用的版本火花1.1.0和Hadoop如何在hadoop上使用Spark启动Jar文件

的2.4这是我的错误日志

marooned91_gmail_com @ Hadoop的M-on8g:/家庭/ Hadoop的/火花安装/斌$ 火花-submit --class“Hi”provaciao.jar java.lang.ClassNotFoundException:您好,在java.net.URLClassLoader $ 1.run(URLClassLoader.java:366) 在java.net.URLClassLoader $ 1.run(URLClassLoader.java :355) at java.net.URLClassLoader.findClass(URLClassLoader.java:354)(java.security.AccessController.doPrivileged(Native Method) )在java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在java.lang.Class.forName0(本机方法) 在java.lang中.Class.forName(Class.java:274) at org.apache.spark.deploy.SparkSubmit $ .launch(SparkSubmit.scala:318) at org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala :75) 在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

+0

检查罐子! jar -tf provacaio.jar。你的班级可能缺少 – eliasah

+0

否,因为它在当地工作 – ScazzoMatto

+0

,即使它是本地的。我认为你可能在做的是用sbt或maven打包你的应用程序。所以你的应用程序jar不包含jar库。 – eliasah

回答

1

尝试全包路径添加到嗨类。如果您没有为课程指定包,请执行此操作。

火花提交--class “com.mycompany.something.Hi” provaciao.jar

而且解压JAR文件,并检查嗨类存在于它

相关问题