线程“main”中的Spark异常java.net.BindException：无法绑定到：/10.3.100.169:0

Question

当我将应用程序提交给独立群集时，我遇到了此异常。

奇怪的是它来了几次。我已经将SPARK_LOCAL_IP设置为正确的IP地址。

但我不明白为什么总是工作访问端口0

的环境是：

VM1：10.3.100.169，运行主机和从机

VM2：10.3.101.119，运行从机

任何人遇到此问题？任何关于如何解决的想法？

这里是命令行和spark-env.sh

bin/spark-submit --master spark://10.3.100.169:7077 --deploy-mode cluster --class ${classname} --driver-java-options "-Danalytics.app.configuration.url=http://10.3.100.169:9090/application.conf -XX:+UseG1GC" --conf "spark.executor.extraJavaOptions=-Danalytics.app.configuration.url=http://10.3.100.169:9090/application.conf -XX:+UseG1GC" ${jar} 

SPARK_LOCAL_IP=10.3.100.169 
SPARK_MASTER_IP=10.3.100.169 
SPARK_PUBLIC_DNS=10.3.100.169 
SPARK_EXECUTOR_MEMORY=3g 
SPARK_EXECUTOR_CORES=2 
SPARK_WORKER_MEMORY=3g 
SPARK_WORKER_CORES=2 

感谢

Answer 1

如果我们考虑星火的全新安装使用其默认的配置，下面的步骤应该创建工作星火独立群集。

1.配置/ etc/hosts中的主机和从机文件

你的主机在两个节点上的文件应该像主人和工人之间

127.0.0.1 localhost 
10.3.100.169 master.example.com master 
10.3.101.119 slave.example.com slave 

2.设置密码的SSH

在主执行以下命令

# change to the user you are going to use to run Spark eg. 'spark-user' 
su - spark-user  
ssh-keygen 
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@slave 
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@master #(since you want to start a worker on master too) 

验证您是否能够通过SSH从主到从不用密码

参考：setup passwordless ssh
3.配置的conf /奴隶的所有节点

你的奴隶文件应该是这样的文件：

master.example.com 
slave.example.com 

4.启动集群

sbin/start-all.sh 

希望这有助于！