缓存数据流中的数据集

Question

我想知道我是否可以直接在Google Dataflow平台中缓存数据集（例如在Spark中缓存RDD）。

如果没有这样的功能，Dataflow如何在应用程序中挑选热门数据集，特别是如果您有多个热门数据集，并且您想根据数据集的重要性优先缓存？

Answer 1

数据流与Spark的执行模型非常不同。在Spark中，中心概念是RDD，RDD的典型工作模式是以不可预知的方式交互式查询;因此，RDD需要缓存，可能由用户控制。

在数据流（Apache的束）中，中央的概念是一个Pipeline，建造和优化，为单片整体，其中PCollection（最接近的类似物RDD）仅仅是在管道中的逻辑节点执行。

这两种方法都有它们的优点，但Dataflow的方法使Dataflow知道在管道中如何使用PCollection，因此不存在不可预测性，并且不需要缓存策略。

数据流当前在Google云端存储的临时文件中实现了一些中间PCollection s，尽量避免使用fusion进行实现。如果PCollection已实现，则处理此集合的管道阶段需要从云存储中读取;否则（如果舞台与产生数据集的舞台融合），它将在数据集内存中处理元素，立即生成它们，共同位于产生它们的工作人员。

GroupByKey操作和相似（例如Combine）是特殊的：数据流有几个实现GroupByKey，在批处理和流式管道之间不同;他们要么使用虚拟机上的本地磁盘来存储数据，要么使用high-performance Google internal infrastructure。