在Mesos群集上运行多个Spark作业

我想在我的Mesos群集上运行多个Spark任务，并让所有Spark任务共享相同的Spark框架。这可能吗？我曾尝试运行MesosClusterDispatcher，并将spark工作连接到调度程序，但每个spark工作都会启动它自己的“Spark Framework”（我尝试运行客户端模式和集群模式）。这是预期的行为？是否有可能在多个spark工作中共享相同的spark-framework？在Mesos群集上运行多个Spark作业

来源

2016-10-05 Aliza

这是正常的，这是预期的行为。

在我所知道的Mesos中，SparkDispatcher负责为您的Spark Driver分配资源，它将充当框架。一旦分配了Spark驱动程序，它就负责与Mesos进行通信并接受提议分配执行任务的执行程序。

来源

2016-10-05 10:30:50 gasparms

在“客户端模式”下运行时，没有SparkDispatcher，驱动程序直接与Mesos交互。那么为什么调度程序需要集群模式呢？ – Aliza

建议你看看http://spark.apache.org/docs/latest/running-on-mesos.html –

@MichaelHausenblas我熟悉文档，但这是如何回答我的问题>你指的是调度员写入Zookeeper的“恢复状态”？ – Aliza

在Mesos群集上运行多个Spark作业

回答

相关问题