火花根本不启动

-1

几个星期前，我正在开发使用jupyter和pyspark，一切工作正常。火花根本不启动

我现在重新开始工作，发生了一些事情发生在我的环境中。我绝对不能启动火花（spark-shell，pyspark或spark-submit）。

16/03/15 17:43:58 INFO SparkEnv: Registering OutputCommitCoordinator

我的环境是：：日志总是在以下行停止

的Ubuntu 14.04
星火1.6.1
的Java 1.7或1.8（试用过！）
Python 2.7.11 | Anaconda 2.3.0（64-bit）| （默认情况下，2015年12月6日，18时08分32秒）[GCC 4.4.7 20120313（红帽4.4.7-1）

（我不t使用HADOOP，这就是为什么HADOOP_HOME没有设置）

请帮忙吗？

编辑

我的应用程序是在Python，和我贴的日志是从独立pyspark应用程序启动使用以下命令：

$SPARK_HOME/bin/spark-submit --py-files py-files.zip main.py

我的$ SPARK_HOME设置为/opt/spark-1.6.1-bin-hadoop2.6/

尽管我无法启动我的应用程序，但我也注意到这种情况发生在pyspark shell，甚至是scala shell中。

这个错误是来自spark-shell或pyspark还是所有这些？ spark_shell或pyspark不需要hadoop_home，除非你指定了任何告诉它查找它的选项。我看到这个错误，当spark-submit会有一些需要hadoop库的代码。什么是为您的SPARK_HOME设置的？ –

抱歉失踪的信息。上面更新。 –

日志说，你HADOOP_HOME没有设置

HADOOP_HOME or hadoop.home.dir are not set

集HADOOP_HOME并重新启动系统并再次测试检查你的环境设置，如果你正在运行星火独立模式，你可以忽略HADOOP_HOME。

2016-03-15 21:11:29

正如@ charles-gomes所说，我正在运行一个不需要HADOOP的独立群集pyspark应用程序。还是要谢谢你的帮助！ –

回答