google-cloud-dataflow

0热度

2回答

数据流作业在我的仪表板上很混乱，我想从我的项目中删除失败的作业。但在仪表板中，我看不到任何删除Dataflow作业的选项。我正在寻找类似下面至少， $ gcloud beta dataflow jobs delete JOB_ID 要删除所有作业， $ gcloud beta dataflow jobs delete 是否有人可以帮助我？

0热度

1回答

如何通过Java程序获取BigQuery表的模式？

我使用DataFlow 2.0/Apache Beam作为从BigQuery读取数据并写入SQL数据库的框架。想要从BigQuery中读取模式定义，然后在SQL定义中创建一个等效表。什么是获取BigQuery架构定义的Java API？该文档只讨论读取数据而不读取元数据。感谢 -ravi

0热度

1回答

使用ValueProvider作为Apache Beam中的路径提取zip内容

我有一段代码可以提取Google云端存储中.ZIP文件的内容。它工作正常，但我需要使用此代码与将在运行时提供的文件路径（“gs：//some_bucket/filename.zip”）。当我尝试使用运行值，我得到一个错误，如： Exception in thread "main" java.lang.IllegalArgumentException: unable to serialize [em

0热度

1回答

Apache beam，使用java处理错误/端口输出8 lambdas

任何人都可以提供一个例子，说明如何使用Java8 Lambdas来处理无效输入，这与我们可以在此优秀博客文章https://cloud.google.com/blog/big-data/2016/01/handling-invalid-inputs-in-dataflow中找到的逻辑相同。还是我只是用我用beam 2.1.0 干杯ParDo和DoFn PS，

1热度

1回答

“数据流似乎卡住”的可能原因是什么

我在Google Cloud上使用Google Cloud的“无服务器数据分析与Google BigQuery和云数据流”课程但Coursera上的第一个实验室的执行失败，因为 (4ca2700be7a42d8b): Workflow failed. Causes: (4ca2700be7a420b8): The Dataflow appears to be stuck. Please reach

3热度

1回答

如何在私有子网上运行Dataflow python？

Apache Beam 2.1.0增加了对私有子网上的Dataflow运行器提交作业的支持，并且没有公共IP，我们需要这些IP来满足我们的防火墙规则。我计划使用鱿鱼代理来访问apt-get,pip等来安装python依赖项;一个代理实例已经在运行，我们在我们的setup.py脚本中设置代理。 python $DIR/submit.py \ --runner DataflowRunner

0热度

1回答

如何使用Google云端数据流播放其他文件？

我正在阅读Google Dataflow程序中的一些配置文件，并想知道如何对它们进行分级。目前我这样做，系统找不到它们。 FileReader filereader1 = new FileReader("config_1.csv"); FileReader filereader2 = new FileReader("config_2.csv"); config_1.csv和config_2.

0热度

1回答

升级数据流的SDK 2.XX从1.9.x的给出编译错误

我升级了数据流的SDK包的版本，并开始得到以下错误： The project was not built since its build path is incomplete. Cannot find the class file for com.google.cloud.dataflow.sdk.io.FileBasedSink$FileBasedWriteOperation. Fix the

0热度

1回答

数据流似乎被卡住

刚刚得到这个错误信息：（941d0d42ab1c3aec）：工作流程失败。原因：（941d0d42ab1c3675）：Dataflow似乎卡住了。请联系数据流团队http://stackoverflow.com/questions/tagged/google-cloud-dataflow。请大家帮忙。

0热度

2回答

TextIO.Read GCS文件夹进入过去30天的日期，名称为

我想要将过去30天的滚动窗口读入我的管道中，例如，在2017年1月15日，我想读： > gs://bucket/20170115/* > gs://bucket/20170114/* >. >. >. > gs://bucket/20161216/* This说（ “？” “*”， “[..]”）的支持glob模式 Similar question, but with no good