Apache Spark数量的执行程序

Question

我在数据库上有Spark应用程序，它在32个节点的集群上运行，每个16个内核和30GB内存。我想改变一些会话配置，但无论我改变了什么，我都无法再让更多的执行者，然后32（如执行者页面上看到火花ui）？这些CONFIGS我已经改变了：

spark.executor.instances 
spark.executor.memory 
spark.executor.cores 

因为我读的并发任务最大数量应为5，所以我想让每个节点4个执行人，每使用4个核...执行人的总数 - 128 。 我怎样才能做到这一点？

亲切的问候， 斯特凡

Answer 1

对于Spark建立与最新版本，我们可以设置参数：--executor-cores和--total-executor-cores。总执行人将total-executor-cores/executor-cores

试试这个：

spark-submit --executor-memory 4g --executor-cores 4 --total-executor-cores 512