google-bigquery

1热度

1回答

我目前正试图计算谷歌大查询中的行之间的差异。我实际上有一个工作查询。 SELECT id, record_time, level, lag, (level - lag) as diff FROM ( SELECT id, record_time, level, LAG(level) OVER (ORDER BY id, record_time)

0热度

2回答

我想用BigQuery UDF处理appengine_googleapis_com_request_log.protoPayload.line

我正在将App Engine标准的请求日志导出到BigQuery。由于Application输出的日志是在protoPayload.line中的，我们试图用UDF来处理它。但是，由于类型不匹配错误，查询无法执行。我打算让模具保持一致，但我该如何解决它？ Error: No matching signature for function JS:LINE_COUNT for argument t

0热度

3回答

使用GET方法将数据流式传输到Google BigQuery？

我需要一个很好的解决方案，最好是现有的解决方案，例如Google Rest API，以便将数据传输/插入到BigQuery中。我不想使用POST方法发送数据 - 出于许多设计原因。我期望每秒写入数千次。数据将被附加到url的查询参数中。它与谷歌分析非常类似，使用Get方法发送分析数据。

1热度

2回答

如何为用户指定访问BigQuery列？

我目前想限制我的观点可能会返回列，但维持的可能性，用户对其进行过滤，例如：表 {f_name：字符串，l_name：字符串，SSN ：字符串} 查看 {f_name：字符串，l_name：字符串} 但允许这样的查询：SELECT * FROM视图WHERE SSN =“1234567890” 我敢肯定有更好的办法，但我太深看到它:)

0热度

1回答

在BigQuery上使用STRING_AGG时，能够发现内存不足错误吗？

This question解释当您尝试使用BigQuery中的STRING_AGG聚合太多内容时发生的情况。有没有办法让我可以做一些像“尝试STRING_AGG，但如果数据太多，返回null（或其他）”？所以我可以从错误中回退而不会失败。

1热度

1回答

我如何跟踪火力点或大查询中的流行用户流量？

没有办法像Google分析那样找出Firebase中的用户流。谷歌分析显示用户流量。同样的事情，我想跟踪我的应用程序使用的是Firebase SDK。

1热度

1回答

处理Python脚本读取和写入数据使用泊坞窗

我最近开发了我的本地机器一个Python代码从mysql数据库中读取数据，并在谷歌大query.I使用服务帐户插入进行身份验证，以谷歌大查询的自动认证目的和我的代码可以成功执行没有错误。现在我正试图在docker python容器中运行我的脚本。一旦我运行我的代码，收到一个认证消息，我不知道如何自动处理它，而无需用户和系统之间的交互。消息是： “请访问这个URL授权此应用程序： https://

0热度

1回答

对表进行分区

Bigquery目前只允许按日期进行分区。 Lets supose我有一个与inserted_timestamp字段的10亿表行。让我们说这个领域有1年前的日期。将现有数据移动到新的分区表的正确方法是什么？编辑我看到有Java的一个优雅的解决方案与版本< 2.0 Sharding BigQuery output tables还阐述了在BigQuery partitioning with Be

0热度

1回答

当我们通过它执行查询时BigQuery Java API不返回所有行

我们正面临一个间歇性问题，即当我们通过BigQuery Java API执行查询时，那么当我们执行相同的行数时，我们得到的行数不匹配通过BigQuery UI进行查询。在我们的代码中，我们使用QueryResponse对象执行查询，我们也检查查询是否完成或不通过检查标志 GetQueryResultsResponse.getJobComplete（），我们也有机制来拉动更多的记录，如果该查询不返

2热度

2回答

没有webservice的大查询cron作业

是否有可能在不运行谷歌应用程序引擎webservice的情况下运行处理用户数据的脚本？对于较小的脚本它工作得很好，但是当我的脚本持续约40分钟我收到提示：DeadlineExceededError 我临时的解决办法是使用Windows在Windows VM调度器和命令行用python脚本编辑：添加代码 jobs = [] jobs_status = [] jobs_error = []