google-bigquery

1热度

1回答

Google bigquery将大表导出到Google Cloud存储中的多个对象

我有两个bigquery表，大于1 GB。要导出到存储， https://googlecloudplatform.github.io/google-cloud-php/#/docs/google-cloud/v0.39.2/bigquery/table?method=export $destinationObject = $storage->bucket('myBucket')->object(

1热度

1回答

加载时间戳时出现Bigquery错误

我试图加载一个CVS，其中的数据类型为'timestamp'。当我尝试将数据加载到表中，我得到的错误： google.api.core.exceptions.BadRequest: 400 CSV table encountered too many errors, giving up. Rows: 1; errors: 1. 我知道，这个特殊的列是问题，因为当我消除列，得到的数据没有错误上传。我

0热度

1回答

在BigQuery中使用另一个表正则表达式

我想将字符串列映射到基于正则表达式匹配的类别。是否有可能使用另一个包含正则表达式和相应类别的bigquery表？这会让我更容易在添加新类别/更新正则表达式时更新表格，而不必更新所有使用此查找的查询。查询： CASE -- Use the entries from another table here WHEN REGEXP_MATCH(string_to_check, cat1regex)

2热度

3回答

无论如何在结果显示时连接选择查询列吗？

比如我有一个查询： select item_name, day, month, year from some_table; ，但我想结果表为2列，而不是4，这样的： [Item name][Date (dd.mm.YYYY)] 我们能做到这一点？我使用Google的Biq Query标准SQL。

0热度

1回答

BigQuery文档 - 为什么拼合去除重复

我正在学习BigQuery标准SQL。我已经遵循了如何将数据与旧版SQL，here和here平铺的示例。平滑数据生成具有相似行的堆叠数据很有意义。但是，在描述从传统SQL移动到标准SQL的文档中，它描述了如何执行相同的展平操作。这个子标题被称为Removing Repitition with Flatten。有人可以向我解释吗？看起来flatten通过将嵌套数据转换为堆叠数据来生成重复数据

0热度

2回答

INNER JOIN语法错误

我想加入2个数据库。 1数据库是keyword_data（关键字映射） 1数据库填充有谷歌的排名和其他指标不知何故，我无法加入这两个数据库。一些背景：数据集名：知名度表1 keyword_data VALUES 关键字宇宙类别 search_volume CPC 数据集名：能见度表2 RES ULTS VALUES 日期关键字网站位置按日期来接收排名数据我写了下面的SQL线。

1热度

1回答

查询会话中的自定义维度以及命中级别

具有索引6的customDimensions对应于会话和命中级别上的UUID。在会话水平，我可以使用下列标准的SQL查询来检索的UUID： CREATE TEMP FUNCTION customDimensionByIndex(indx INT64, arr ARRAY<STRUCT<index INT64, value STRING>>) AS ( (SELECT x.value FR

0热度

1回答

GCP Dataflow-从存储读取CSV文件，写至BigQuery

我在存储CSV文件，我想读它，并将其写入BigQuery资料表。这是我的CSV文件，其中第一行是标题： GroupName,Groupcode,GroupOwner,GroupCategoryID System Administrators,sysadmin,13456,100 Independence High Teachers,HS Teachers,,101 John Glenn Mi

0热度

1回答

BQ加载错误：在位置893786302.数据块的大小的Avro解析错误27406834大于最大允许值16777216

至BigQuery专家较大，我在这就要求我们代表客户的购物历史的过程中工作我们使用前缀将Solr分面的所有最后12个月的交易连接在一个列中。当试图在BIG查询中加载这些数据时，我们得到的行下限超过了错误。有什么办法可以解决这个问题吗？实际的元组大小约为64 MB，其中avro限制为16 MB。 [ ~]$ bq load --source_format=AVRO --allow_quoted_

0热度

2回答

如何避免使用Google应用程序脚本将重复行上传到BigQuery表中

我使用Google App脚本从Google表格上传一些数据到BigQuery中。有没有办法将这些数据上传，而不上传重复行... 这里是JOBSPEC我目前使用： var jobSpec = { configuration: { load: { destinationTable: { projectId: projectId, data