Spark Streaming DStream元素vs RDD

Question

我正在使用Spark的Streaming API，我只是想更好地了解如何最好地设计代码。

我目前使用的卡夫卡消费者（在pyspark）从pyspark.streaming.kafka.createDirectStream

根据http://spark.apache.org/docs/latest/streaming-programming-guide.html

星火流提供了一个名为高级抽象离散 流或DSTREAM ，它代表了连续的数据流。 DStreams可以通过来自输入数据流的输入数据流 （如Kafka，Flume和Kinesis）创建，也可以通过在其他DStream上应用高级别的操作来创建。在内部，DStream被表示为 RDD的序列。

本质上，我想将一组函数应用于DStream中的每个元素。目前，我正在使用pyspark.streaming.DStream的“地图”功能。根据文件，我的方法似乎是正确的。 http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html#pyspark.streaming.DStream

地图（F，preservesPartitioning =假）通过施加 函数DSTREAM的每个元素返回一个新的DSTREAM。

我应该使用map还是正确的方法是将函数/转换应用于RDD（由于DStream使用RDD）？

foreachRDD（func）对此DStream中的每个RDD应用一个函数。

更多文档： http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html

Answer 1

DirectStream.map这里是一个正确的选择。继map：

stream.map(f) 

相当于：从另一方面

stream.transform(lambda rdd: rdd.map(f)) 

DirectStream.foreachRDD是输出动作，并创建一个输出DStream。与foreachRDD一起使用的函数不会返回任何内容，与方法本身相同。看看Scala签名显然很明显：

def foreachRDD(foreachFunc: RDD[T] => Unit): Unit