Apache Spark 2.1.0 - 基本设置：工作节点不能与主节点连接

我试图让两个虚拟机运行Apache Spark来连接;一个主人和一个工人。我正在使用VirtualBox和一个host-only网络适配器。这些虚拟机能够彼此相互访问，但是当我启动该工作器时，它不会出现在主站的Web UI中。Apache Spark 2.1.0 - 基本设置：工作节点不能与主节点连接

我使用的是主人的是10.10.10.2和工人的10.10.10.3

我spark-env.sh文件配置为包括静态IP地址：

SPARK_MASTER_IP=10.10.10.2

我首先启动主节点：

./start-master.sh 

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out

然后工人：

./start-slave.sh spark://10.10.10.2:7077 

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out

产生的主节点GUI的输出：

screenshot

如果从工人我nmap 10.10.10.2：

Nmap scan report for 10.10.10.2 
Host is up (0.00035s latency). 
Not shown: 998 closed ports 
PORT  STATE SERVICE 
22/tcp open ssh 
8080/tcp open http-proxy

我不知道这是否是相关的，但它并不显示任何东西7077

任何帮助非常感谢！

来源

2017-03-01 macourtney7

您确定没有阻止连接的防火墙规则（请参阅'iptables -L'）吗？ –

@JamesFry，没有规则列出。感谢您的建议。 – macourtney7

完全错过了您使用Spark 2.1.0，对不起！ –

SPARK_MASTER_IP已弃用，不再在Spark 2.x中使用。您可以使用：

SPARK_MASTER_HOST环境变量
-h/--host选项sbin/start-master.sh。

来源

2017-03-01 16:34:06 user6910411

谢谢你。改变它，它直接工作！ – macourtney7

Apache Spark 2.1.0 - 基本设置：工作节点不能与主节点连接

回答

相关问题