如何在Apache Spark中加入两个（或更多）流（JavaDStream）

Question

我们有一个消耗Gnip合规性流的Spark流应用程序。

在API的旧版本中，遵从性流由一个端点提供，但现在它由8个不同的端点提供。

我们可以用不同的参数运行8次相同的spark应用程序来消耗不同的端点。

火花流媒体中是否有一种方法消耗8个端点并将它们合并到一个应用程序中？

我们应该为每个连接使用不同的流式上下文还是一个上下文就足够了？

Answer 1

我认为您在这里寻找Spark union。

阅读以下对实施例Concatenating datasets of different RDDs in Apache spark using scala

作为每火花文档火花联合：

返回包含在 源数据集和参数的元素的并集的新数据集。