火花垃圾连接到主

我想设置一个小的Spark群集进行测试。该集群由3名工人和1名主人组成。在每个节点上，我都设置了Java，scala和spark。配置文件如下： 火花defaults.conf：火花垃圾连接到主

spark.master     spark://test01.scem:7077 
spark.eventLog.enabled  true 
spark.eventLog.dir   hdfs://test01.scem/user/spark/applicationHistory 
spark.executor.memory  4g 
spark.serializer   org.apache.spark.serializer.KryoSerializer 
spark.driver.memory   5g 
spark.yarn.archive   hdfs://test01.scem/user/spark

spark-env.sh

export SPARK_CONF_DIR=/usr/hadoop/spark-2.1.0-bin-hadoop2.7/conf 
export SPARK_LOG_DIR=/var/log/spark 
export SPARK_PID_DIR=/var/run/spark 
export HADOOP_HOME=${HADOOP_HOME:-/usr/hadoop} 
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/usr/hadoop/etc/hadoop}

我能够通过（开始 - 所有启动所有节点.sh），但我在启动shell（spark-shell）时收到错误消息。我尝试了所有可用的方法来查看Spark群集的UI，但没有运气，请任何帮助。我收到的错误信息是：

WARN client.StandaloneAppClient$ClientEndpoint: Failed to connect to master test01.scem:7077 
org.apache.spark.SparkException: Exception thrown in awaitResult

每个节点的JPS是：

万事达{18097 JobHistoryServer，21249个JPS，20758的NameNode，20440 的ResourceManager}

奴{11456 JobHistoryServer，15409 Jps，15092 DataNode，14799 NodeManager}

来源

2017-09-03 Mohd Zoubi

在启动所有节点之后并在应用spark-shell之前，是否可以在终端中张贴'jps'的输出？ –

感谢Ramesh，现在发布 –

似乎你只启动了hadoop群集而不是spark簇。所以你也可以更新你正在启动群集的步骤 –

检查是否可以ping主人。如果是这样，请使用netstat命令检查主端口是否被占用。如果两者都属实，则可能是防火墙问题

来源

2017-09-04 04:10:54

火花垃圾连接到主

回答

相关问题