2012-05-11 33 views
3

是否有实现原生JSON支持任何计划,谷歌的BigQuery?对BigQuery的原生JSON支持?

我在考虑将hive数据(〜20T)迁移到Google BigQuery, ,但Hive中的表定义包含BigQuery中不支持的映射类型。

例如,HiveQL下面:

select gid, payload['src'] from data_repository; 

虽然,可以通过使用正则表达式周围的工作。

+0

刚抬起头,我们已经开始为JSON数据摄取支持,并作为导出格式(见:googledevelopers.blogspot.com /2012/10/got-big-json-bigquery-expands-data.html) –

回答

0

最好的办法是在导入之前强迫所有的类型为CSV的,如果你有复杂的领域,通过查询正则表达式分解它们(如你所说)。

这就是说,我们正在积极调查新的输入格式的支持,并有兴趣的反馈,以什么格式将是最有用的。存在类似蜂巢地图类型类型的基础查询引擎(Dremel)的支持,但BigQuery,但是,目前不公开的机制摄取嵌套记录。