将Google Firebase导出到Bigquery

Question

我试图将我的Google Firebase数据库导出到Google Bigquery，但除了手动导出所有内容外，还没有找到解决方案。我找到了多种导出Firebase分析的方式，但这不是我想要的。任何帮助或任何会指向我的正确方向将不胜感激。谢谢大家！

• 韦斯

Answer 1

我相信，这仅仅是在分析一个自动化的方式支持。

您可能可以编写一个脚本来从备份加载[1]，但您需要一些中间处理才能使它们进入BigQuery需要的换行符分隔的JSON格式。您还需要决定如何将树结构拆分为多个表。

向其公共问题跟踪器添加功能请求可能值得（如果Firebase团队有一个）。

[1] https://firebase.google.com/docs/database/ios/backups

Answer 2

手动导出/导入

如果你希望做一个一次性导出/导入，您可以手动执行此操作。查看Firebase数据库控制台时，点击三点图标以获取更多选项。其中一个选项是“导出JSON”，它会将文件下载到您的计算机。如果您希望将文件下载到服务器，您也可以使用REST API执行相同的操作。

下载数据库导出后，您可以尝试按照loading data into BigQuery from a file的文档。根据您的数据库结构，您可能需要重新格式化/重构数据以与BigQuery预期的兼容。

流出口/进口

如果你需要从数据库到BigQuery的流数据，你可以使用Firebase Cloud Functions。例如，您可以编写一个函数triggered by a Database-event，该函数使用BigQuery NodeJS client将该数据流式传输到BigQuery表。

请务必熟悉相关的costs & quotas以及关于streaming data into BigQuery的文档。