Spark独立群集行为查询

Question

我们有两台Linux，每台20个核心。我们需要使用spark scheduler设置独立群集。目前我们暂时还没有cloudera/Hortonwork。我的查询是关于Spark Scheduler的。

如果我创建一个主机和从机的unix机器和第二台机器作为从机节点，我可以运行多少个内核来运行火花代码。它会是40或更少？我可以在群集模式下在此群集上运行多个作业吗？

Answer 1

你需要一个内核驱动程序，所以你可以有执行者的最大内核数为39

群集运行的作业如何取决于你如何配置resource scheduling。目前，在独立模式下仅支持单个应用程序中的FIFO作业调度，但您可以将可变数量的资源分配给不同的应用程序。