google-bigquery

0热度

1回答

插入datetime值至BigQuery我们写了插入值到BigQuery的表，其列是DateTime类型的谷歌数据流的代码。大部分时间逻辑运行良好。但突然我们得到无效的DateTime问题。 Exception: java.lang.RuntimeException: java.io.IOException: Insert failed: [{"errors":[{"debugInfo":"g

0热度

1回答

如何通过BigQuery中的两个字段进行有效分组？

我在BigQuery中有一个160GB的数据库，代表上个月从应用发送的事件。每行都有（除其他外）日期字段，userId字段和事件字段。我需要做的是找出有多少独特用户在某一天使用过该应用。例如，如果用户X在2017年9月15日前使用过应用三次，那么当天只计算一次，但如果他在2017年9月15日，2017年9月16日和2017年9月17日期间使用了该应用，在那些日子里每一天都只算他一次（只有一次）。

1热度

1回答

BigQuery - 创建表格的时间戳“版本”

如何创建具有多个“代”的表格（即像使用JCL的旧大型机环境中那样），我已经看到使用Firebase分析示例数据完成了这些工作。例如我有以下表格：mydataset.mytable（7），如界面上所列。如果我展开表的细节，我可以看到，我可以从时间戳表和预览细节数据 BigQuery中的选择，我怎么能到处去模仿呢？这看起来非常有用。编辑：这是更好地解释一张图片！这里是与7个快照表：这里，看着

0热度

1回答

排序顺序table.getRows

在以下简单示例中，'foo.csv'是一个简单的3列表。第一列是行号。第二和第三列是字符串。我使用模式自动检测创建表。（我也尝试创建一个具有类似结果的特定模式表。）然后，我使用table.getRows来查询它。返回的行不是按照它们插入的顺序。我花了一段时间才弄清楚顺序，因为它不是第一列的插入顺序或数字顺序。排序顺序是 - 第二列的长度 - 按字母顺序由第二列 - 第三列的长度

0热度

1回答

是否有某种用于bigquery的IDE？

我真的不喜欢在浏览器中编写我的所有查询，并且希望将VC集成到我们团队的流程中。

1热度

1回答

Apache Beam窗口和分片BigQuery输出表格

我的用例很简单：从Pub/Sub订阅中读取事件日志，解析它们并保存到BigQuery中。由于事件数量预计会显着增加，我使用无限数据源，因此我决定在BigQuery中配置分片：根据事件数据的时间戳将事件存储到日常表格中（Beam文档中称为“事件时间”），。我的问题是我需要配置窗口在我的情况下，或者我可以保留隐式使用全局窗口的默认配置？我问的原因是因为我发现大部分BigQuery分片的例子都假设

0热度

1回答

BigQuery - 窗口化股票分类

我（想）我有一个有趣的窗口场景，与网站股票可用性跟踪有关，通过标准SQL进行处理。这是试图建立了基于该推，从股票的“手头”数量为某个特定产品事件我们有与此相关的问题3种事件类型时股票头寸的看法： StocklevelUpdated（PUSH）：在每天晚上的午夜，我们会针对仓库中给定产品的onHandQty可用性级别进行新的更新。如果每个产品的onHandQty数量作为下一个交易日的新值，这基本上

0热度

2回答

有没有办法在编辑报表时在Google数据工作室中暂停查询

我在连接到BigQuery的报表中构建了google数据工作室中的条形图，计算了具有一个维度的指标的最小值，最大值和平均值。问题在于，每次我编辑图表以添加度量标准并更改其计算（例如，求和为min）时，都会运行一个BigQuery查询，这非常浪费。所以我想知道是否有一种方法可以暂停查询，直到我完成构建/编辑图表之前取消暂停查询，并最终查询最终图表。 Thx提前

1热度

2回答

分裂

我有一个字符串框看起来像这样在谷歌的BigQuery： S，0,2B3,8，C2 B3 00 00 00 00 03 DE 小号，0,3FA，6，00 E0 A5 04 00 0B S，0,440,8 80 40 4E 00 A5 47 00 64 S，0,450,8，89 50 01 12 01 19 01 B3 S，0,4B0,8,80 B0 4E A5 00 43 00 64 我的目标是提取

0热度

1回答

WITH＆UNNEST in BigQuery

我发现使用WITH块来分解查询中的逻辑很有帮助。我是否认为我无法在ARRAY表达式中的嵌套字段上执行此操作？我可以分成嵌套查询 - 这是足够的但不是理想的。例如，这个工程： SELECT repository.url, ARRAY( SELECT action FROM ( SELECT action FROM