工作在星火没有数据流

Question

我的代码执行：

// messages is JavaPairDStream<K, V> 
Fun01(messages) 
Fun02(messages) 
Fun03(messages) 

Fun01，Fun02，Fun03都有变换，输出操作（foreachRDD）。

1. Fun01，Fun03如预期，这证明“消息”既执行不为空或为空。

2. 在Spark应用程序UI上，我发现Fun02在“Spark stages”中的输出阶段，它证明了“已执行”。

3. Fun02的第一行是一个map函数，我添加了它的日志。我还为Fun02的每一步添加了日志，他们都证明“没有数据”。

有人知道可能的原因吗？非常感谢。

---

@maasg Fun02的逻辑是：

msg_02 = messages.mapToPair(...) 
msg_03 = msg_02.reduceByKeyAndWindow(...) 
msg_04 = msg_03.mapValues(...) 
msg_05 = msg_04.reduceByKeyAndWindow(...) 
msg_06 = msg_05.filter(...) 

msg_07 = msg_06.filter(...) 
msg_07.cache() 
msg_07.foreachRDD(...) 

我已经做火花测试1.1和Spark-1.2，这是我公司的星火集群支持。

Answer 1

看来这是Spark-1.1和Spark-1.2中的一个bug，在Spark-1.3中修复。

我在这里发布我的测试结果：http://secfree.github.io/blog/2015/05/08/spark-streaming-reducebykeyandwindow-data-lost.html。

当连续使用两个reduceByKeyAndWindow，根据窗口的滑动值，可能会出现“丢失数据”。

我找不到Spark的问题列表中的错误，所以我无法获得补丁。