Spark流使用较少数量的执行程序

Question

我正在使用Spark流处理某些事件。它以独立模式进行部署，有1个主站和3个工作站。我将每个执行程序的内核数量设置为4，并将执行程序的总数设置为24.这意味着共将生成6个执行程序。我已经确定了真实的。所以每个工人机器得到2个执行者。我的批处理间隔是1秒。此外，我已将该批次重新分配至21个。其余3个用于接收器。运行我从事件时间线观察到的结果是，只有3个执行者正在使用。其他3个未被使用。据我所知，在spark独立模式下没有参数来指定执行程序的数量。我该如何使用所有可用的执行程序产生火花？

Answer 1

也许你的流没有太多的分区来填补所有的执行者在每一个1秒minibatch。尝试使用repartition(24)作为第一个流式转换，以使用完整的火花集群电源。