2015-12-02 42 views
1

我目前使用大型查询来存储用户信息,以计算大型日志​​数据的聚合结果。但由于修改数据是不可能的。为了克服这个问题,我计划将每个用户记录存储在单独的表中。我知道bigquery支持从多个表中查询使用我可以获取所有信息。我对这里的怀疑是Bigquery:数据集中的大量表格是否会影响性能?

  • 随着用户数量的增长,性能将会下降,与将所有用户存储在单一表中相比。
  • 如果有任何关于每个数据集表的数量在BIQ查询


预先感谢

回答

4

从我所知道的局限性 - 没有对数据集表的数量没有硬性限制。
同时 - 本地BQ UI对数据集中前10,000个表格的限制显示。

需要考虑的另一个限制(只提几个):
*每日更新限制:每天每桌1,000次更新;
*查询(包括引用视图)可以引用多达1,000个表格,而不是更多;
*查询中涉及的每个附加表(包含数百和数百个表)会对性能产生相当大的影响。
*即使每个表是足够小 - 它仍然会以分钟的价格10MB(哪怕是只有几KB)的

不知道您的具体情况犯规允许做一些建议,但至少你”收费已经在你的问题中得到了答案。

总体而言,其每用户表不好听我

+0

大答案的想法,另外一个评论......如果你有很多表的数据集使用TABLE_QUERY或TABLE_DATE_RANGE,你会越来越穷性能。 –

相关问题