云数据流作业失败

Question

我们的云数据流的工作今天上午已经失败，出现以下错误：

Jul 20, 2015, 7:02:57 AM (41114dff4e115290): Workflow failed. Causes: (ba1dfdda2b6af333): Map task completion for Step "Clicks_07_2015-BQ-Read+Clicks_07_2015-ParDoDFP-transform+Clicks_07_2015-BQ-Write" failed. Causes: (3bcd8d4fd3828211): No exported files "gs://path/to/file/*.json" found after export of table "Clicks_07_2015" in dataset "--dataset--" in project "{--project--id--}".

这个工作已经在过去的几天里成功运行无需更改任何代码和失败今天上午。我们可以看到这个云存储文件夹中有一个json文件，所以我不知道为什么这可能会失败。这是一个错误？

职位编号：2015-07-19_14_01_42-8050965853069761045

Answer 1

当表从BigQuery的出口到云存储，他们是受该系统的最终一致性特性。在这种情况下，似乎索引在重复重试之后仍旧失效，此时数据流失败。我们将更好地处理这个特殊情况，感谢您的耐心。

这应该很少发生，但您可能会发现在重试循环中运行CLI以解决此情况很有用。

https://cloud.google.com/dataflow/pipelines/dataflow-command-line-intf