在集群模式下运行Apache Spark的两个版本

我希望能够在单个集群上以集群模式运行Spark 2.0和Spark 1.6.1以便能够共享资源，那么执行此操作的最佳实践是什么？这是因为我希望能够屏蔽依赖于1.6.1和其他Spark 2.0上的代码更改的某些应用程序。在集群模式下运行Apache Spark的两个版本

基本上，群集可以依赖于Spark 2.0的动态分配，但可能不适用于1.6.1 - 这是灵活的。

哪些资源管理器rk自己的独立调度程序？ –

我们不使用任何东西，但我愿意使用mesos ... –

通过使用Docker，您可以运行各种版本的Spark应用程序，因为Docker在隔离中运行应用程序。

Docker是开发，运输和运行应用程序的开放平台。。 使用Docker，您可以将应用程序与基础架构分开，并将您的基础架构视为托管应用程序。

行业都在采用多克，因为它提供这种灵活性在单个果壳运行各种版本的应用程序和更多

Mesos还允许Docker容器用马拉松

希望这有助于!!! ....您使用的温泉

2016-08-12 07:55:36 Bhavesh

是的问题是如何处理端口与火花运行集群模式 - 如何定义端口和重用执行者 - 整个沙盒点应用程序能够在火花集群中有效地使用执行程序 - 因为它们只有有限数量的机器和内核。 –

回答