火花执行配置

Question

按我的火花簇下面配置被设置

spark.executor.memory=2g 

我想知道的RAM此2G由所有执行器或该2G的RAM共享用于通过在每个各执行工人机器？

Answer 1

我想知道的RAM这个2G的所有遗嘱执行人或 这个2G的内存共享在每个工人机所使用的每一个执行

此设置将导致在每次每个执行人你的一个Worker节点拥有2G内存。此设置并不意味着“所有的执行者之间的内存共享2G”，它意味着“给每个执行2G内存”。

这在文件中明确规定（重点煤矿）：

spark.executor.memory | 1g |每个执行者进程使用的内存量 （例如2g，8g）。

如果每个工作者节点有多个执行者，这意味着这些执行者中的每一个都会占用2G的内存。