Q

如何使用单节点MemSql集群设置Spark？

2016-01-28 58 views 1 likes

1

我有一个单节点集群MemSql：如何使用单节点MemSql集群设置Spark？

RAM：16克
核心：4
的Ubuntu 14.04

我有星火部署在此Memsql的ETL目的。

我无法在Memsql配置火花。

如何设置为星火工作目录轮换政策：/var/lib/memsql-ops/data/spark/install/work/
如何更改路径？
如何大应spark.executor.memory设置为避免OutOfMemoryExceptions？

如何为已部署在Memsql集群上的Spark设置不同的配置设置？

2016-01-28 Ravi Prakash

A

回答

1

希望下面将解决您的问题：

见spark.worker.cleanup.enabled和相关的配置选项：https://spark.apache.org/docs/1.5.1/spark-standalone.html
的配置可以在/var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf改变。一旦配置发生变化时，必须重新启动火花集群memsql-ops spark-component-stop --all然后memsql-ops spark-component-start --all

2016-01-28 20:03:28

+0

设置这些参数没有帮助，我已经加入spark.worker.cleanup.interval 1800 spark.worker.cleanup多个参数。 appDataTtl 14400将检查是否有帮助 –

+0

让我知道这些额外的配置是否有帮助。你有没有尝试在我提到的配置文件中设置更大的执行程序内存值？这应该可以解决你的记忆问题。 –

相关问题