我可以获得DStream中每个RDD的最大密钥吗？

Question

我需要找到每个RDD的最大密钥，但使用reduce（）时，我能得到的是整个Dstream中最大的一个。例如，在这个流中，我想要返回的是（2，“b”），（2，“d”），（3，“f”），但是我只能得到（3，“f” ）通过reduce(max) 我怎样才能得到（2，“b”），（2，“d”），（3，“f”）？

sc = SparkContext(appName="PythonStreamingQueueStream") 
ssc = StreamingContext(sc, 1) 
stream = ssc.queueStream([sc.parallelize([(1,"a"), (2,"b"),(1,"c"),(2,"d"), 
(1,"e"),(3,"f")],3)]) 

stream.reduce(max).pprint() 
ssc.start() 
ssc.stop(stopSparkContext=True, stopGraceFully=True) 

Answer 1

此：

stream = ssc.queueStream([sc.parallelize([(1,"a"), (2,"b"),(1,"c"),(2,"d"), 
    (1,"e"),(3,"f")],3)]) 

只有一个批次，其中第一和唯一的一批具有（最小）3个分区创建一个流。我想你想：

stream = ssc.queueStream([ 
    sc.parallelize([(1,"a"), (2,"b")]), 
    sc.parallelize([(1,"c"), (2,"d")]), 
    sc.parallelize([(1,"e"), (3,"f")]), 
]) 

，这将给你预期的结果有：

stream.reduce(max).pprint()