是否有实现原生JSON支持任何计划,谷歌的BigQuery?对BigQuery的原生JSON支持?
我在考虑将hive数据(〜20T)迁移到Google BigQuery, ,但Hive中的表定义包含BigQuery中不支持的映射类型。
例如,HiveQL下面:
select gid, payload['src'] from data_repository;
虽然,可以通过使用正则表达式周围的工作。
是否有实现原生JSON支持任何计划,谷歌的BigQuery?对BigQuery的原生JSON支持?
我在考虑将hive数据(〜20T)迁移到Google BigQuery, ,但Hive中的表定义包含BigQuery中不支持的映射类型。
例如,HiveQL下面:
select gid, payload['src'] from data_repository;
虽然,可以通过使用正则表达式周围的工作。
最好的办法是在导入之前强迫所有的类型为CSV的,如果你有复杂的领域,通过查询正则表达式分解它们(如你所说)。
这就是说,我们正在积极调查新的输入格式的支持,并有兴趣的反馈,以什么格式将是最有用的。存在类似蜂巢地图类型类型的基础查询引擎(Dremel)的支持,但BigQuery,但是,目前不公开的机制摄取嵌套记录。
截至2012年10月1日的,BigQuery支援换行符分隔JSON为进口和出口。
博客文章:http://googledevelopers.blogspot.com/2012/10/got-big-json-bigquery-expands-data.html
数据格式的文档:https://developers.google.com/bigquery/docs/import#dataformats
但截至今日,仍有基本的JSON路径操作缺少像'[*]':http://stackoverflow.com/questions/ 28719880 /大量查询-jsonpath值-的JSON的阵列 –
刚抬起头,我们已经开始为JSON数据摄取支持,并作为导出格式(见:googledevelopers.blogspot.com /2012/10/got-big-json-bigquery-expands-data.html) –