我需要一个很好的解决方案,最好是现有的解决方案,例如Google Rest API,以便将数据传输/插入到BigQuery中。我不想使用POST方法发送数据 - 出于许多设计原因。我期望每秒写入数千次。数据将被附加到url的查询参数中。它与谷歌分析非常类似,使用Get方法发送分析数据。使用GET方法将数据流式传输到Google BigQuery?
0
A
回答
0
谷歌云功能(GCF)解决了这个问题。 GCF仍处于测试阶段,但大多数谷歌产品都处于测试阶段。 GCF无服务器,可以用几行代码编写http触发器。欲了解更多信息,请访问 - >https://console.cloud.google.com/functions
0
这里有一个礼物:
http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq
如果您有任何额外的问题问我,我这个解决方案工作。
0
我也可能鼓励您使用类似Dataflow流式管道的东西来处理这些插入,而不是直接调用API。
相关问题
- 1. 将数据流式传输到Google BigQuery的模式
- 2. BigQuery使用insertAll流式传输数据
- 3. 没有将数据流式传输到BigQuery的错误响应
- 4. 将云存储中的数据流式传输到BigQuery
- 5. Google BigQuery节点库:如何分批流式传输数据?
- 6. 如何使用Nodejs将插入流式传输到BigQuery?
- 7. 使用Java将JSON流式传输到BigQuery
- 8. 将数据从MicrosoftSQLServer上传到Google BigQuery
- 9. 何时将流式传输到BigQuery表的数据用于查询操作?
- 10. 将数据流式传输到opentsdb
- 11. 是否可以将数据流式传输到Google App Engine?
- 12. 将数据流式传输到BigQuery时出现Java代码错误
- 13. 将数据流式传输到BigQuery中的旋转日志表中
- 14. 在Windows上使用C将数据流式传输到声卡
- 15. 如何使用Hapi将数据流式传输到浏览器?
- 16. 使用Python SDK进行数据流流式传输:将PubSub消息转换为BigQuery输出
- 17. 传递数据使用GET方法
- 18. 使用WCF流式传输数据
- 19. 使用Django流式传输json数据
- 20. BigQuery中流式传输的可靠性
- 21. Python:将Excel数据直播流式传输到数据框
- 22. Google BigQuery无法将数据加载到共享数据集中
- 23. bigquery数据位置传输
- 24. Restlet流式传输数据
- 25. 使用IP地址流式传输数据的node-maxmind用法
- 26. 将数据流传输到S3
- 27. 使用GET方法将数据传递给url的问题
- 28. 如何处理流式传输HTTP GET数据?
- 29. 使用Java将数据从Google Cloud Storage加载到BigQuery
- 30. 使用Java将数据从Google Cloud Storage加载到BigQuery
感谢Marco,但我最终使用Google Cloud功能,解决了这个问题。 – ituring