更改纱线上火花执行器的最小堆大小

我想在运行纱线上的火花时更改执行器的初始/最小堆大小。现在它抛出以下异常，更改纱线上火花执行器的最小堆大小

java.lang.Exception的：spark.executor.extraJavaOptions不允许

我使用以下--conf "spark.executor.extraJavaOptions=-Xms4096m"在运行我的火花外壳改变内存设置。

我正在使用spark 1.6.0。非常感谢帮助！

2016-12-01 Adi Kish

距离docs

注意一点关于spark.executor.extraJavaOptions是非法设置星火属性或堆大小设置这个选项。 Spark属性应该使用SparkConf对象或与spark-submit脚本一起使用的spark-defaults.conf文件来设置。堆大小设置可以使用spark.executor.memory进行设置。

试试这个--conf "spark.executor.memory=4g"

来源

2016-12-01 20:07:51 David

这给了我的4G的执行人静态分配支援4G的-Xmx，但我想设置我的X毫秒为好。 –

我相信heap size是固定的火花执行者。用java来说，'spark.executor.memory = 4g'就相当于将Xms和Xmx都设置为4g – David

我想这不是因为我的纱线执行器日志似乎开始在192米左右，并且一直在增加。 –

更改纱线上火花执行器的最小堆大小

回答

相关问题