当通过spark-submit将JAR提交给Spark时发生ClassNotFoundException

我正在努力使用将JAR提交给Apache Spark。当通过spark-submit将JAR提交给Spark时发生ClassNotFoundException

为了使事情更容易，我试验过使用此blog post。代码是

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 

object SimpleScalaSpark { 
    def main(args: Array[String]) { 
    val logFile = "/Users/toddmcgrath/Development/spark-1.6.1-bin-hadoop2.4/README.md" // I've replaced this with the path to an existing file 
    val conf = new SparkConf().setAppName("Simple Application").setMaster("local[*]") 
    val sc = new SparkContext(conf) 
    val logData = sc.textFile(logFile, 2).cache() 
    val numAs = logData.filter(line => line.contains("a")).count() 
    val numBs = logData.filter(line => line.contains("b")).count() 
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs)) 
    } 
}

我正在使用Intellij Idea 2017.1构建此版本，并运行在Spark 2.1.0上。当我在IDE中运行它时，一切运行良好。

然后我把它做成一个JAR并尝试使用如下

./spark-submit --class SimpleScalaSpark --master local[*] ~/Documents/Spark/Scala/supersimple/out/artifacts/supersimple_jar/supersimple.jar

这将导致以下错误

java.lang.ClassNotFoundException: SimpleScalaSpark 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:348) 
    at org.apache.spark.util.Utils$.classForName(Utils.scala:229) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:695) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我在茫然，我是什么缺少......特别是它在IDE中按预期运行。

来源

2017-04-01 dommer

根据以上描述，你没有给出正确的类名，所以它无法找到该类。

只需更换SimpleSparkScala与SimpleScalaSpark

尝试运行此命令：

./spark-submit --class SimpleScalaSpark --master本地[*]〜/文档/星火/斯卡拉/supersimple/out/artifacts/supersimple_jar/supersimple.jar

来源

2017-04-01 20:45:49

Yes.Sorry。我也发现了这个问题，并更新了这个问题，但这不是问题。我现在认为这与Intellij构建JAR的方式有关。如果我使用“From modules with dependencies ...”选项（例如http://stackoverflow.com/questions/1082580/how-to-build-jars-from-intellij-properly），它将失败，如上所述。但是，如果我手动设置JAR设置，它将起作用。我不确定为什么“快速设置”不起作用。 – dommer

如果你在本地安装运行spark，你应该添加％'提供的“来激发依赖关系，然后清理sbt程序集。 – fpopic

IDE在许多方面与shell的工作方式不同。我相信壳您需要添加--jars参数

spark submit add multiple jars in classpath

来源

2017-04-02 00:45:14

看起来可能是您的广口瓶中的问题。您可以检查哪些类存在于你的罐子使用命令： 六supersimple.jar

如果SimpleScalaSpark类不会出现在一个命令的输出，这意味着你的罐子没有正确建立。

来源

2017-04-02 11:35:18 shants

我正在观察ClassNotFound上新引入的类。我正在使用一个胖罐子。我验证了JAR文件包含每个节点中所有副本中的新类文件。（我正在使用常规文件系统来加载Spark应用程序，而不是hdfs或http URL）。工作人员加载的JAR文件没有我引入的新类。这是一个旧版本。我发现解决这个问题的唯一方法是每次调用spark-submit脚本时为JAR使用不同的文件名。

来源

2018-01-14 05:58:59 cerebrotecnologico

我无法弄清旧版本来自哪里。 – cerebrotecnologico

当通过spark-submit将JAR提交给Spark时发生ClassNotFoundException

回答

相关问题