Spark Sql正在抛出PermGen空间错误

我已配置3个节点Spark群集。并使用start-thriftserver.sh脚本启动Spark Thrift Service，并使用一些自定义属性。并且还在Cluster的每个spark-default.sh文件中添加spark.executor.extraJavaOptions -XX:MaxPermSize=1024m -XX:PermSize=256m属性。Spark Sql正在抛出PermGen空间错误

使用Hive JDBC驱动程序，我能够连接spark-sql，尝试了一些查询。

但过了一段时间它会抛出PermGen Space错误。在重新启动节俭服务很多次后，它会抛出相同的错误。

来源

2015-09-10 Kaushal

这个问题如何重复？我已经尝试了大堆空间'-XX：MaxPermSize = 1024m -XX：PermSize = 256m'。如果它是，然后写解决方案，将解决我的问题。 – Kaushal

我无法理解。没有任何正当的理由，人们为什么会低估这个问题？ – Kaushal

最后我得到了解决方案。

我经历了应用程序日志，由Spark驱动程序发生permgen错误，所以不是spark.executor.extraJavaOptions选项，我添加了-XX:MaxPermSize=1024m -XX:PermSize=256m属性与spark.driver.extraJavaOptions选项。

来源

2015-09-24 08:35:16 Kaushal

Spark Sql正在抛出PermGen空间错误

回答

相关问题