火花中的应用，工作，舞台和任务的概念是什么？

Question

我的理解正确吗？

1. 应用： 一个火花提交。

2. 工作： 一旦一个懒惰的评估发生，就有一份工作。

3. 阶段： 它涉及到洗牌和转换类型。 我很难理解舞台的边界。

4. 任务： 它是单元操作。每个任务转换一次。每个转换一个任务。

有助于提高这种理解。

Answer 1

主要功能是应用程序。

当您在RDD上调用某个操作时，会创建一个“作业”。工作是提交给Spark的工作。

作业根据洗牌边界分为“阶段”。 This可以帮助你理解。

每个阶段根据RDD中的分区数进一步划分为任务。所以任务是Spark最小的工作单位。