火花堆大小错误，即使RAM为32 GB和JAVA_OPTIONS = -Xmx8g

-1

我有32 GB的物理memoryand我输入文件大小约为30 MB，我尝试使用下面的命令火花堆大小错误，即使RAM为32 GB和JAVA_OPTIONS = -Xmx8g

提交我的火花的工作纱线客户端模式

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py

和我的执行者空间是8g，但得到下面的错误任何人请帮我配置java堆内存。我使用命令行了解了--driver-java选项，但我不知道如何使用此选项设置java堆空间。

任何人都请帮助我。

java.lang.OutOfMemoryError: Java heap space

enter image description here

来源

2017-03-07 Jayabal

这可能会帮助你http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerror-java-heap-space – BruceWayne

你尝试配置执行的内存呢？像这样：“--executor-memory 8g”

来源

2017-03-07 08:16:34 Hlib

是的，我已经使用下面也是，但同样的错误存在。 spark-submit --master yarn --packages com.databricks：spark-xml_2.10：0.4.1 --driver-memory 8g --executor -memory 8gericsson_xml_parsing_version_6_stage1.py – Jayabal

可能确实没有足够的空间。输入文件大小30MB并不能保证RDD不会占用1000倍以上的空间。 – Hlib

我不知道如何解决此问题，请给出解决方法。 – Jayabal

火花堆大小错误，即使RAM为32 GB和JAVA_OPTIONS = -Xmx8g

回答

相关问题