在哪里执行Apache Spark reductionByWindow函数？

Question

我试图学习apache spark，并且我无法从documentation了解窗口操作是如何工作的。

我有两个工人节点，我使用Kafka Spark Utils从主题创建DStream。

在此DStream上我应用map函数和reductionByWindow。

我不明白，如果reductionByWindow是在每个工人或在驱动程序上执行。

我已经在谷歌搜索没有任何结果。

有人可以解释我吗？

Answer 1

接收和处理数据都发生在工作节点上。驱动程序创建负责数据收集的接收者（在工作者节点上），并定期启动作业以处理收集的数据。其他一切都是非常标准的RDD和正常的Spark作业。