如何解析Pig中的JSON？

我有很多gzip'd日志文件在s3中有3种类型的日志行：b，c，i。我和c都是单级json：如何解析Pig中的JSON？

{"this":"that","test":"4"}

b类型是深深嵌套的json。我碰到这个gist谈论编译一个罐子，使这项工作。由于我的Java技能不如恒星，我不知道从这里做什么。

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}

由于I型和C并不总是以相同的顺序，这使得指定一切都在生成正则表达式困难。是否可以使用Pig处理JSON（在gzip文件中）？我使用任何版本的Pig都是基于Amazon Elastic Map Reduce实例构建的。

这可归结为两个问题： 1）我可以用Pig解析JSON吗？如果是，如何？ 2）如果我可以解析JSON（从gzip'd日志文件），我可以解析嵌套的JSON对象吗？

来源

2011-02-16 Eric Lubow

了很多解决方法后，通过东西的工作，我是能够回答完成这件事。我在我的博客上写了关于如何做到这一点的文章。它可以在这里找到：http://eric.lubow.org/2011/hadoop/pig-queries-parsing-json-on-amazons-elastic-map-reduce-using-s3-data/

来源

2011-03-01 21:30:08

链接上的“建立数据库连接时出错” – andreban 2013-08-07 23:27:16

猪自带JSON加载程序。要加载使用：

A = LOAD“data.json”
USING PigJsonLoader（）;

要存储，您可以使用：

STORE INTO ‘output.json’ 
    USING PigJsonLoader();

但是，我不知道它支持GZIPed数据....

来源

2011-02-24 11:53:23

其中/是什么版本？ 0.8.0似乎并不知道它默认情况下。 – ayman 2011-03-01 01:47:37

PigJsonLoader似乎是一个单独的包？ https：//开头github上。com/mmay/PigJsonLoader – 2012-01-04 18:45:55

请试试这个：https://github.com/a-b/elephant-bird

来源

2011-12-27 19:45:51

猪0.10带有内置JsonStorage和JsonLoader（）。

pig doc for json load/store

来源

2012-07-03 22:00:44

我们可以通过使用JsonLoader做到这一点......但是，我们不得不提到的模式为您的JSON数据，否则它可能会出现一个error..just按照下面的链接

  http://joshualande.com/read-write-json-apache-pig/

我们也可以通过创建UDF来解析它...

来源

2014-07-03 10:49:10 Reddevil

您可以尝试使用twitter elephantbird json loader，它动态处理json数据。但是您必须对模式非常精确。

api_data = LOAD'文件名'USING com.twitter.elephantbird.pig.load.JsonLoader（' - nestedLoad'）;

来源

2015-09-09 20:44:46 Shrikant

我已经看到twitter elephantbird的使用增加了很多，它很快成为json在PIG中解析的goto库。

例子：

DEFINE TwitterJsonLoader com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad=true '); 

JsonInput = LOAD 'input_path' USING TwitterJsonLoader() AS (entity: map[]); 

InputObjects = FOREACH JsonInput GENERATE (map[]) entity#'Object' AS JsonObject; 

InputIds = FOREACH InputObjects GENERATE JsonObject#'id' AS id;

来源

2016-02-29 23:22:03 rahulbmv

如何解析Pig中的JSON？

回答

相关问题