2017-05-15 37 views
0

Google BigQuery的数据传输服务可以使用多个云存储位置作为数据获取到BigQuery的源目的地吗?BigQuery的数据传输服务

BQ从GCS与其他云源收取数据的方式有什么不同吗?

数据传输服务的文档中提到,从2017年6月1日起,BQ将收取数据传输服务的每月订阅费用?我们有关于成本模型的任何细节吗?

回答

2

我是BQ数据传输团队的工程师。

通过数据传输服务,您可以创建多个传输配置。例如,如果您愿意,您可以连接到100个不同的GCS存储区,以备份不同的DCM帐户(例如)。

加载数据没有区别 - BQ中的加载作业仍然空闲。

数据传输服务的确很快就会采用订阅模式。有关详细信息,您可以联系销售,或者您可以等待更多的文档https://cloud.google.com/bigquery/transfer/

希望帮助!

+0

谢谢....有没有关于使用DataTransferService加速从GCS到BQ的摄取的任何文档?我有500个csv文件(每个文件都有25 GB的未压缩大小)被摄入BQ。我希望有一个并行摄入BQ日常分区....出于好奇,我可以使用BQ的UDF(用户定义的功能)这样的摄取过程? UDF方法有没有相关的成本? –

+0

Hi Bhavik,数据传输服务只连接到特定服务(例如DoubleClick,YouTube)。它目前不提供通用的GCS功能。要从GCS加载,请随时启动多个GCS加载作业。如果文件未压缩并且将引用的换行符设置为false,则加载速度最快,因为这样可以实现最大程度的并行化。 – Tib51

相关问题