猪群由两个字段产生奇怪的结果

加载数据提供：

client_trace_send = LOAD '/user/hduser1/adm_project/client_trace50.csv' using PigStorage(',') as (code:chararray, client_id:int, loc_ts:int, length:int, op:chararray, err_code:int, time:long, thread_id:INT);

Limitting和检查数据：

client_trace_send_small = LIMIT client_trace_send 10; 
DUMP client_trace_send_small;

数据加载：

(msg_snd,0,1,46,enrol_req,-1,1414250523591,9) 
(res_rcv,0,1,25,enrol_resp,,1414250523655,9) 
(msg_snd,1,2,48,query_queue,-1,1414250523655,9) 
(res_rcv,1,2,14,err,19,1414250523661,9) 
(msg_snd,1,3,59,peek_req,-1,1414250523661,9) 
(res_rcv,1,3,13,err,0,1414250523662,9) 
(msg_snd,1,4,59,peek_req,-1,1414250523662,9) 
(res_rcv,1,4,13,err,0,1414250523663,9) 
(msg_snd,1,5,59,peek_req,-1,1414250523663,9)

现在，我想小组说，在字段中的数据“的client_id “和”loc_ts“。

GROUPED = GROUP client_trace_send_small by (client_id,loc_ts);

检查结果：

DUMP GROUPED;

而其奇特：

((0,1),{(msg_snd,0,1,46,enrol_req,-1,1414250523591,9)}) 
((1,2),{(msg_snd,1,2,48,query_queue,-1,1414250523655,9)}) 
((1,3),{(msg_snd,1,3,59,peek_req,-1,1414250523661,9)}) 
((1,4),{(msg_snd,1,4,59,peek_req,-1,1414250523662,9)}) 
((1,5),{(msg_snd,1,5,59,peek_req,-1,1414250523663,9)}) 
((8,28493),{(msg_snd,8,28493,62,pop_req,-1,1414251764157,16)}) 
((9,25976),{(msg_snd,9,25976,66,query_sender,-1,1414251764148,17)}) 
((19,28250),{(msg_snd,19,28250,64,pop_req,-1,1414251764152,27)}) 
((31,27977),{(msg_snd,31,27977,65,peek_req,-1,1414251764152,39)})

有礼物甚至不出现在加载的数据值。对于我希望像第一组：

((0,1),{(msg_snd,0,1,46,enrol_req,-1,1414250523591,9),{(res_rcv,0,1,25,enrol_resp,,1414250523655,9)})

这是怎么回事错在这里？

感谢您的帮助，提前致谢。

问候

来源

2016-06-09 Redo

你倾销'client_trace_send_small'和分组'send_small'！ – 54l3d

Ooops请原谅我，这是一个复制和粘贴错误。事实上，我做了client_trace_send_small组。否则，我会在grunt控制台收到错误，因为send_small不存在。 – Redo

请编辑您的问题，以便其他人可以理解。 – 54l3d

这是因为LIMIT采取随机组数据：

不保证其中的元组将被退回，而元组返回可以从一个运行改变下一个。

而且，因为在你的素文字2 DUMP，因此猪会分裂成流水线两条管道，每一个单独执行LIMIT。因此，您会为每个子管道获取两个不同的数据集。

但我们确信的是，转储的数据显然来自输入文件，并且它们来自最多10行（如果文件行数更少，则为<）。

您可以检查您的explain计划和它的explanation。

来源

2016-06-09 16:22:38 54l3d

哦，惭愧。非常感谢！ – Redo

猪群由两个字段产生奇怪的结果

回答

相关问题