DStream为批处理间隔生成多少个RDD？

Question

无论数据量有多大，一个批处理间隔的数据是否只生成DStream中的一个且只有一个 RDD？

Answer 1

是的，每个批处理间隔只有一个RDD，在每个批处理间隔产生，与记录数无关（包含在RDD中 - 内部可能有零个记录）。

如果没有，并且RDD创建以元素数为条件，则不会有同步（微批处理）流，而是一种异步处理的形式。

Answer 2

在Spark Streaming Programming Guide - Discretized Streams (DStreams)，有：

每个RDD在DSTREAM含有一定的间隔数据