为什么火花流被称为接近实时？

Question

我知道Spark Spark使用微量批处理数据，但在某些情况下，处理时间不到一秒钟。我的问题是“不能把它称为纯实时处理，而不是在那个实验室里进行实时处理？”

Answer 1

我想说，我们只能在收集数据并将其直接推送到仪表板或系统时进行实时指标，警报和优化，而无需任何ETL过程，实时目的是，主要是速度。

每当有批次的流程提取历史趋势或基准时，尽管时间不到一秒，但不是实时的，而是接近它，这是因为他们谈论的是接近实时的。

所以，要回答你的问题，我会说不，因为你正在进行配料和加工，所以接近实时。

我希望它有帮助。

涓

Answer 2

火花流将所述数据流分成的X秒批次称为Dstreams，其内部是RDDS，一个用于每批间隔的序列。每个RDD都包含在批处理间隔期间收到的记录，因为其小批量处理过程几乎不实时。