通过Cloud Dataflow API提交

我正在尝试查找API文档（不是Java SDK API，而是HTTP API与数据流服务本身进行通信）并且似乎无法找到它。我正在尝试使用不同的参数提交同一个应用程序（jar文件）的作业，并且不想运行应用程序来构建图形并每次提交自己。（提交环境可能不支持Java。）通过Cloud Dataflow API提交

问题：

1）在哪里API文档，这样我可以建立自己的请求？（还有就是api explorer，但是这不是有用没有休息。）

2）有没有办法来转储从DataFlowPipelineRunner的要求，这样我可以用它作为提交我自己提出的请求。

来源

2016-08-19 Jim Keener

您可以create your Pipeline as a template，并通过使用Dataflow API客户端库发出HTTP POST请求来执行作业。

从这里开始了解更多关于此：Using Templates Overview

来源

2017-01-06 20:40:19 Kieras

这是什么时候添加的？这看起来对我正在尝试做的事很有用。 –

不正式支持将作业提交给Dataflow服务而不使用Dataflow SDK，因此没有任何API文档。

如果您想要尝试捕获输出以便修改并重新提交作业，则请求为here。 newJob变量是一个解析的JSON对象，您可以输出到JSON文件，然后在以后的过程中进行解析和修改

此功能绝对是我们希望以易于使用的方式支持的内容;您可以查看几周前发出的API提案并跟踪其进度：https://issues.apache.org/jira/browse/BEAM-551

来源

2016-08-19 23:16:06 danielm

Thanks @danielm！能够提交作业而不必在本地执行将简化我们的特定过程。我可能会调查从SDK中转储的“重放”修改后的api调用，并确保团队知道它目前不是受支持的用例。 –

如果有任何反馈或测试可以帮助我们将此功能转移到稳定功能，请随时通知我！ –

通过Cloud Dataflow API提交

回答

相关问题