将猪的每个列操作的结果存储在猪的单独行中

我需要对我的表的每一列执行一些数字操作（使用UDF）。对于每一列我都得到2个值（mean和standard-dev）。但最终的结果是(mean_1, sd_1, mean_2, sd_2, mean_3, sd_3...)，其中1,2...是列索引。但是我需要在单独一行中的每个列的输出。像：将猪的每个列操作的结果存储在猪的单独行中

mean_1, sd_1 \\for col1 
mean_2, sd_2 \\for col2 
...

这里是猪脚本我使用：

data = LOAD 'input_file.csv' USING PigStorage(',') AS (C0,C1,C2); 
grouped_data = GROUP data ALL; 
res = FOREACH grouped_data GENERATE FLATTEN(data), AVG(data.$1) as mean, COUNT(data.$1) as count; 
tmp = FOREACH res { 
       diff = (C1-mean)*(C1-mean); 
       GENERATE *,diff as diff; 
       }; 
grouped_diff = GROUP tmp all; 
sq_tmp = FOREACH grouped_diff GENERATE flatten(tmp), SUM(tmp.diff) as sq_sum; 
stat_tmp = FOREACH sq_tmp GENERATE mean as mean, sq_sum/count as variance, SQRT(sq_sum/count) as sd; 
stats = LIMIT stat_tmp 1;

有谁请指导我如何实现这一目标？

来源

2015-01-14 Kunal Kumar

因此，您只想使用结果数据的一行？ – LiMuBei

你可以粘贴你的猪脚本吗？ –

@李慕贝：是的，只有一行包含结果......我还包括猪脚 –

谢谢。通过为各个列创建均值和sd值的元组，然后将所有这些元组存储在一个包中，我得到了所需的输出。然后在下一步我把袋子弄平了。

tupled_stats = FOREACH raw_stats generate TOTUPLE(mean_0, var_0, sd_0) as T0, TOTUPLE(mean_1, var_1, sd_1) as T1, TOTUPLE(mean_2, var_2, sd_2) as T2; 
bagged_stats = FOREACH tupled_stats generate TOBAG(T0, T1, T2) as B; 
stats = foreach bagged_stats generate flatten(B);

来源

2015-01-16 13:30:09

将猪的每个列操作的结果存储在猪的单独行中

回答

相关问题