火花提交失败，火花流workdcount Python代码

我刚才复制的火花流wodcount Python代码，并利用火花提交给运行在星火集群的单词计数Python代码，但它显示了以下错误：火花提交失败，火花流workdcount Python代码

py4j.protocol.Py4JJavaError: An error occurred while calling o23.loadClass. 
: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper 
at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)

我确实构建了jar spark-streaming-kafka-assembly_2.10-1.4.0-SNAPSHOT.jar。我使用以下脚本来提交： bin/spark-submit /data/spark-1.3.0-bin-hadoop2.4/wordcount.py --master spark：//192.168.100.6：7077 --jars/data /spark-1.3.0-bin-hadoop2.4/kafka-assembly/target/spark-streaming-kafka-assembly_*.jar。

在此先感谢！

来源

2015-04-07 Jack

其实我才意识到你已经列入后的--jars脚本。 除非在脚本名称之前指定了罐子，否则不会包含jar文件。所以使用spark-submit -jars spark-streaming-kafka-assembly_2.10-1.3.1.jar Script.py代替spark-submit Script.py --jars spark-streaming-kafka-assembly_2.10-1.3。 1.jar。

来源

2015-05-18 05:41:54 Colman

我不得不在我的命令中引用许多jar来让它起作用，也许尝试明确引用jars，它可能不会从您创建的jar中正确地拾取它。

   /opt/spark/spark-1.3.1-bin-hadoop2.6/bin/spark-submit --jars /root/spark-streaming-kafka_2.10-1.3.1.jar,/usr/hdp/2.2.4.2-2/kafka/libs/kafka_2.10-0.8.1.2.2.4.2-2.jar,/usr/hdp/2.2.4.2-2/kafka/libs/zkclient-0.3.jar,/root/.m2/repository/com/yammer/metrics/metrics-core/2.2.0/metrics-core-2.2.0.jar kafka_wordcount.py kafkaAddress:2181 topicName

其实它看起来像它不是拿起这瓶：kafka_2.10-0.8.1.2.2.4.2-2.jar

来源

2015-05-13 03:03:08 Colman

火花提交失败，火花流workdcount Python代码

回答

相关问题