使用python API将数据加载到BigQuery vs bq加载

Question

有一个新的要求。在GCS桶中有大约130多个文件，这些文件需要在日常基础上加载到BigQuery上的不同表格中。

经过研究，我发现了两个选择。

1）使用 “BQ加载” 命令到负荷（Shell脚本/ Python脚本） 2）创建Python API将数据加载至BigQuery

哪个选项是最好的。如果我使用Python API，我需要使用APPENGINE来安排它。

除此之外还有更好的选择吗？

谢谢，

Answer 1

但是你这样做，你会创建加载作业。所以从BigQuery方面来说，选择哪个选项并不重要。

至于调度得好，你必须在谷歌云平台的一些选项：

• App Engine standard environment cron service。
  • 请参阅this example使用它可以通过发布/订阅可靠地计划任务。
• 您的操作系统的计算引擎实例上的cron或systemd计时器。
• A cron job on a Kubernetes cluster，使用Container Engine。