以编程方式导出Google Cloud Datastore并导入到BigQuery

我正在寻找一种方法来导出我的Cloud Datastore并将其每日导入到BigQuery中。手动方式在google page中描述。我没有找到一个干净的方法来自动化它。以编程方式导出Google Cloud Datastore并导入到BigQuery

来源

2015-05-12 David Cesar Santos

有没有一种简单的方法来做到这一点，但你可以分出两部分：创建appengine备份并将它们加载到bigquery中。

您可以使用定时备份定期创建数据存储备份（https://cloud.google.com/appengine/articles/scheduled_backups）。

然后，您可以使用Apps脚本自动执行BigQuery部分（https://developers.google.com/apps-script/advanced/bigquery#load_csv_data）或使用AppEngine cron执行相同的操作。

来源

2015-05-12 17:33:26

第二个是一样加载至BigQuery与谷歌驱动器。可以直接在Google Cloud Storage中使用它吗？谢谢您的帮助。 –

我正在重写应用程序脚本，但我有疑问。 [例子]（https://developers.google.com/apps-script/advanced/bigquery#load_csv_data）使用'job = BigQuery.Jobs.insert（job，projectId，data）; '和[doc]（https://developers.google.com/resources/api-library/documentation/bigquery/v2/java/latest/com/google/api/services/bigquery/Bigquery.Jobs.Insert。 html＃Bigquery.Jobs.Insert％28java.lang.String，％20com.google.api.services.bigquery.model.Job，％20com.google.api.client.http.AbstractInputStreamContent％29）是'job = BigQuery。 Jobs.insert（projectId，job，data）; ”。 –

@以上乔丹的回答号楼上，步骤要做到这一点是：

1）使存储桶

2）出口数据存储区实体这一桶

3）开大查询Web UI和使用Google Cloud文件路径加载。

有图像的完整教程可在this post。

来源

2016-02-22 04:50:40

-1

可以使用下面的代码。它基本上使用App Engine Cron作业和BigQuery API。

https://github.com/wenzhe/appengine_datastore_bigquery

来源

2017-08-04 15:05:01

尽管此链接可能会回答问题，但最好在此处包含答案的重要部分，并提供供参考的链接。如果链接页面更改，则仅链接答案可能会失效。 - [来自评论]（/ review/low-quality-posts/16936811） – Gerry

截至上周有自动执行此之有道。最重要的部分是gcloud beta datastore export。

我在它周围创建了一个脚本：https://github.com/chees/datastore2bigquery 您可以在cron作业中运行此脚本。

在这里看到它是如何工作的演示：https://www.youtube.com/watch?v=dGyQCE3bWkU

来源

2017-09-16 14:14:16 Christiaan

以编程方式导出Google Cloud Datastore并导入到BigQuery

回答

相关问题