Presto/Athena - 查询发现JSON属性频率？

Question

我已经定义了一个蜂巢表，其中一列包含JSON文本：

CREATE EXTERNAL TABLE IF NOT EXISTS my.rawdata (
    json string 
) 
PARTITIONED BY (dt string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES (
    'separatorChar' = '\n', 
    'quoteChar' = '\0', 
    'escapeChar' = '\r' 
) 
STORED AS TEXTFILE 
LOCATION 's3://mydata/'; 

是否有普雷斯托/雅典娜查询可以列出了JSON内发生的所有字段名和它们的频率（即总数该属性出现在表中）？

Answer 1

使用JSON函数解析JSON并将其转换为地图。然后提取他们的密钥和unnest。最后，使用正常的SQL聚集：

SELECT key, count(*) 
FROM (
    SELECT map_keys(cast(json_parse(json) AS map(varchar, json))) AS keys 
    FROM rawdata 
) 
CROSS JOIN UNNEST (keys) AS t (key) 
GROUP BY key 

Answer 2

• 支持多层次的文件
• 忽略嵌套元素

---

select key 
     ,count(*) 
from  t cross join 
      unnest (regexp_extract_all(json,'"([^"]+)"\s*:\s*("[^"]+"|[^,{}]+)',1)) u (key) 
group by key 
;