调度数据流管道

Question

我想安排一个谷歌的数据流作业运行每隔一小时

我检查这个网址https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions 但我得到了很多错误。

我该如何做到这一点？

Answer 1

请检查使用谷歌数据流窗与无界源做这样的情况下 https://cloud.google.com/dataflow/model/windowing https://cloud.google.com/dataflow/examples/gaming-example

Answer 2

从我的角度来看，使用应用程序引擎正试图为不同的东西重新调整好工具。

我们选择运行我们自己的CRON实例。