在Spark中设置“spark.memory.storageFraction”不起作用

Question

我想调整Spark的内存参数。 我想：

sparkSession.conf.set("spark.memory.storageFraction","0.1") //sparkSession has been created 

后，我提交作业并检查星火UI。我发现“存储内存”仍然和以前一样。所以上述不起作用。

设置“spark.memory.storageFraction”的正确方法是什么？

我正在使用Spark 2.0。

Answer 1

从Spark 1.6开始，统一执行和存储内存管理。旧模型中使用的所有内存分数现在都被弃用，不再被读取。如果您希望使用旧的内存管理，您可以明确启用spark.memory.useLegacyMode（不推荐）。

所以我认为spark 2.0会继续这些设置。

Answer 2

我面临同样的问题，后读火花github上一些代码，我觉得“存储内存”的火花UI是一种误导，它无法显示存储区域的大小，实际上它代表了maxMemory：

maxMemory = (executorMemory - reservedMemory[default 384]) * memoryFraction[default 0.6] 

检查这些更多的细节↓↓↓

spark ui executors-page source code

getMaxmemory source code