Spark如何限制cpu核心和内存的使用？

Question

Spark如何限制cpu核心和内存的使用？它使用cgroups吗？纱线怎么样？

Answer 1

独立群集Spark仅使用提供的资源池管理应用程序预定义的资源配置。资源池基于执行者组合在一起，作为集群添加到集群中。 纱线使用容器和资源限制应用容器的配置，它定义了最小和最大的核心和内存分配。

Answer 2

纱线节点管理器是监测火花执行人内存使用和杀死他们，如果他们使用上面spark.executor.memory

在CPU的情况下，spark.executor.cores是并发任务量执行者可以运行。有关Spark Configuration Documentation的更多信息

您可以启用cgroups in yarn并限制CPU使用率或YARN容器（火花执行器）。