1
通过设置以下属性,我在Mesos Docker Containerizer上运行Spark应用程序。具有相同spark.local.dir的多个火花执行器
--conf 'spark.local.dir=/var/lib/spark'
--conf 'spark.mesos.executor.docker.image=my_spark_docker_image'
--conf 'spark.mesos.executor.docker.volumes=/var/data/x-spark:/var/lib/spark,/opt/local/mesos:/opt/local/mesos:ro'
--conf 'spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/opt/local/mesos/lib/libmesos.so'
- 火种执行者Docker容器(由mesos推出泊坞窗)。
- 一个或多个Spark执行程序可能在同一主机上运行。
spark.local.dir
属性是/var/lib/spark
,它由docker从主机上挂载。
也就是说,主机上的所有Spark执行程序共享相同的本地目录(/ var/data/x-spark)。
看来一切正常,但我担心文件损坏。它安全吗?
对不起,迟到了。谢谢! – takaomag