多节点火花集群上的spark-shell无法在远程工作节点上运行sponser execution

Question

在独立模式下安装了spark集群，第一个节点上有2个节点，spark主节点正在运行，另一个节点上有spark worker。当我尝试用字计数代码工作节点上运行的火花外壳运行良好，但是当我尝试在主节点上运行的火花外壳它提供了以下的输出：

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 

执行人不会被触发运行作业。即使有工作人员可以提供这样的问题来激发掌握。任何帮助appriciated，谢谢

Answer 1

您使用客户端部署模式，所以最好的选择是执行程序节点无法连接到本地计算机上的驱动程序端口。它可能是防火墙问题或广告IP /主机名的问题。请确保：

• spark.driver.bindAddress
• spark.driver.host
• spark.driver.port

使用预期值。请参阅Spark documentation的网络部分。

不太可能是缺乏资源。请检查您是否需要比工作人员提供的资源更多的资源。