Apache Spark的分区

Question

我有一个由1个主10个工作节点组成的集群。当我将分区数设置为3时，我想知道主节点只使用3个工作节点还是全部使用它们？因为它表明它们都被使用了。

Answer 1

的问题不是什么你问那么清楚，但是下面的事情可能会帮助

当你用10个执行人，火花应用高手指点所有资源从纱线开始作业。所以所有的执行者都已经和spark工作联系在一起了。

但是，如果您的数据分区少于可用执行程序的数量，则其他执行程序将闲置。因此，保持分区数量少于执行器数量并不是一个好主意。