是否可以通过https从Google Dataflow连接到互联网？

Question

我想在使用ETL之前使用管道将Google存储中的文档发送到从中提取数据的Web服务。

Answer 1

是的，完全可以通过Google Cloud Dataflow通过HTTPS连接到其他Web服务。您可以在Dataflow转换中为您的Web服务创建尽可能多的HTTPS请求。

在另一个说明中，我建议将数据提取逻辑写为Dataflow转换以获得更快的结果。在执行HTTPS请求并将文件从Google Cloud Storage发送到Web端点（假定不在GCP中）时，应考虑出口成本。