Hadoop集群 - 节点已启动但不工作

Question

所有人。我用Spark和YARN进行分布式计算，有线问题是每次我的工作人员工作不正常，有时候只有1或2个节点工作，其他节点状态启动但似乎不工作。我需要我的所有节点一起工作。

我只是想知道是否有可能，因为我的计算任务太小？ 因为我的目标是从HDFS开始计算3-4GB的jsons。

我的任务提交命令

./spark-submit --master yarn-client --supervise word.py 

在这里我们可以看到只有从3和主节点的工作。这是我第一次提交

这是我第二次提交工作，似乎只有奴隶1工作。有谁知道最新的问题？

Answer 1

更改Worker_Instances，即将解决。