如果特定字段匹配的行的awk差异

我对使用awk非常陌生，但我在Fredrik Pihl的关于如何计算字段的平均值（$ 3）的这个问题的答案中找到了很多帮助，在共享另一个字段（$ 1）多条记录：如果特定字段匹配的行的awk差异

问题：在awk列的平均一部分，如果线路（具体场）比赛

输入样本：

$cat NDVI-bm 
P01 031.RAW 0.516 0 0 
P01 021.RAW 0.449 0 0 
P02 045.RAW 0.418 0 0 
P03 062.RAW 0.570 0 0 
P03 064.RAW 0.469 0 0 
P04 083.RAW 0.636 0 0 
P04 081.RAW 0.592 0 0 
P04 082.RAW 0.605 0 0 
P04 084.RAW 0.648 0 0 
P05 093.RAW 0.748 0 0

弗雷德里克皮赫尔的回答是：

{ 
    sum[$1]+=$3 
    cnt[$1]++ 
} 


END { 
    print "Name" "\t" "sum" "\t" "cnt" "\t" "avg" 
    for (i in sum) 
     print i "\t" sum[i] "\t" cnt[i] "\t" sum[i]/cnt[i] 

}

但是，我被卡住了也试图计算匹配字段（每个值和平均值之间的差异的平方的总和除以计数）的方差。我想我可能需要一种方法来计算每个匹配记录的END结构之前的平均值，或者如果可以在END结构中完成整个方差计算，但是我需要检索原始值$ 3。我不知道该怎么做。感谢任何提示。

来源

2013-07-03 KaH

如果你发布你想要的输出将会有所帮助 –

如果你捐赠的奖金可能会有所帮助。 – captcha

@JS웃和parkydr：谢谢。 – KaH

您可以通过计算样本的总和和平方来计算最后的方差。

然后

variance = (Sum of squares - (Sum*Sum)/n)/n

所以

{ 
    sum[$1]+=$3 
    sum_squares[$1]+=$3*$3 
    cnt[$1]++ 
} 


END { 
    print "Name" "\t" "sum" "\t" "cnt" "\t" "avg" "\t" "var" 
    for (i in sum) 
     print i "\t" sum[i] "\t" cnt[i] "\t" sum[i]/cnt[i] "\t" (sum_squares[i] - (sum[i]*sum[i])/cnt[i])/cnt[i] 

}

为了选择特定的模式，将其添加到求和计算的开始（注END的文件的末尾匹配）例如

/P03/ { 
    sum[$1]+=$3 
    sum_squares[$1]+=$3*$3 
    cnt[$1]++ 
}

现在只有线与它们P03将被处理

来源

2013-07-03 17:03:24 parkydr

代码GNU awk：

{ 
    sum[$1]+=$3 
    count[$1]++ 
    groups[$3]=$1 
} 

END { 
    for (i in sum) mean[i]=sum[i]/count[i] 
    for (i in groups) meandiff[i]=i-mean[groups[i]] 
    for (i in groups) sumdiff2[groups[i]]+=meandiff[i]^2 
    for (i in sumdiff2) var[i]=sumdiff2[i]/count[i] 
    for (i in var) 
     print "group:", i, "count:", count[i], "\tmean:", mean[i], "\tsum:", sum[i], "\tsumdiff^2:", sumdiff2[i], "\t\tvariance:", var[i] 
}

 
$cat file 
P01 031.RAW 0.516 0 0 
P01 021.RAW 0.449 0 0 
P02 045.RAW 0.418 0 0 
P03 062.RAW 0.570 0 0 
P03 064.RAW 0.469 0 0 
P04 083.RAW 0.636 0 0 
P04 081.RAW 0.592 0 0 
P04 082.RAW 0.605 0 0 
P04 084.RAW 0.648 0 0 
P05 093.RAW 0.748 0 0 

$awk -f prog.awk file 
group: P01 count: 2  mean: 0.4825 sum: 0.965  sumdiff^2: 0.0022445 variance: 0.00112225 
group: P02 count: 1  mean: 0.418  sum: 0.418  sumdiff^2: 0   variance: 0 
group: P03 count: 2  mean: 0.5195 sum: 1.039  sumdiff^2: 0.0051005 variance: 0.00255025 
group: P04 count: 4  mean: 0.62025 sum: 2.481  sumdiff^2: 0.00204875 variance: 0.000512188 
group: P05 count: 1  mean: 0.748  sum: 0.748  sumdiff^2: 0   variance: 0

来源

2013-07-03 22:07:44 captcha

我认为在你的awk脚本，组[ $ 3] = $ 1 将无法正常工作，如果在第3列中有多个原始值相同，因为这些N个相同的值只能在组中统计一次。

来源

2015-12-06 09:33:56

如果特定字段匹配的行的awk差异

回答

相关问题