如何在Google BigQuery上存储每日/每月快照？

Question

我们需要存储我们某些数据库的每日和每月快照。

这不是备份，我们需要存储数据以便稍后分析它们，并查看它们在此期间的演变情况。 我们仍然不知道在两个月内我们需要什么类型的查询，因为我们需要跟踪用户群的一些变化，因此我们将每天保存用户和其他相关集合的快照。

我们正在考虑将所有的东西放在Google BigQuery上，它可以很容易地将数据放在它上面，并且更容易对这些数据进行查询。

我们将创建一些表格，其中包含我们需要的每组数据，以及所有需要的列，以及一个额外的表格，其中包含提取过程完成的日期。 我们将使用此列按日期，月份等对数据进行分组。

另一种方法是为每个数据集创建一个数据集，每次我们需要快照时创建一个数据集。 我真的不知道这两者之间有什么更好，或者如果有更好的选择。

Answer 1

很难说哪种最适合您，因为我不知道您的需求或成本要求。

但是，通过“创建一些表格，我们需要的每一组数据以及所有需要的列，再加上一个包含提取过程完成日期的额外数据”方法，您可以运行这些查询将允许您查看随着时间的推移用户发生了什么变化。例如，对于特定的时间片，您可以说一个特定用户的平均活动随着时间的推移。

Answer 2

大概有点晚了，但对于未来的读者：您可能正在寻找date-partitioned tables。它完全对应于这个用例，并且在文档页面中有一个简单的例子。