本地模式下的执行程序数量以及客户端和集群模式之间的差异

Question

我对Spark配置有一个非常简单的问题，在本地模式下，执行程序的数量是1，因为只有一个工作节点？

我的另一个问题是部署模式作为客户端还是集群模式的区别？在客户端模型中提到的文档中，驱动程序在群集外启动，我无法获得此声明。

Answer 1

如果我没有记错，您会在本地模式下得到一个执行程序，如果没有另行指定。

客户端和集群模式之间的区别主要在于驱动程序运行的位置。在客户端模式下，它在部署作业的机器上运行。在集群模式下，驱动程序将在集群中的某个节点上运行。在客户端模式下，无论驱动程序输出到标准输出和标准错误，您都可以轻松访问。如果您有疑问，请使用客户端模式。