来自列

的BigQuery日期分区我想了解如何从包含多天的数据的csv文件加载日期分区表。我想我正在寻找一个类似的功能关系数据库提供他们的分区在一个特定的列，它负责将记录自动加载到正确的分区。来自列

看起来，用bigquery动态分配分区的唯一方法是使用分区装饰器，这将需要我从CSV顺序加载每个记录（因为每一行的日期可能不同），或者先写入etl将日志分割成csv来分隔文件。

我在这里错过了什么吗？

2017-03-05 jimmy

目前BigQuery不支持在特定列上进行分区，但这是一个高度请求的功能vote here和here。

正如你所说，在分区中加载数据的唯一方法是使用分区修饰器。为此，您可以将CSV外部处理为几天，并使用每个分区的单独加载作业将每天加载到其自己的分区中。

或者您可以加载未分区的完整CSV，然后通过个别查询→将结果写入专用分区（如in details here所述）来创建分区的脚本。

2017-03-05 13:41:01 Pentium10

现在Google已经引入了按字段分区的功能。您可以使用任何日期或日期时间类型字段来分隔

2018-02-23 09:00:15

回答