Bash - 根据列在行中添加值

Question

我的csv文件中的第二列有重复项。我想根据这些重复添加第1列的相关值。

例CSV：

56, cc=DK 
49, cc=US 
34, cc=GB 
32, cc=DE 
32, cc=NZ 
31, cc=DK 
31, cc=GB 
31, cc=GB 

结果举例：

96, cc=GB # where 96 = 34+31+31 
87, cc=DK # where 87 = 56+31 
32, cc=DE 
32, cc=NZ 

Answer 1

可以在awk使用关联数组：

awk '{s[$2]+=$1}END{for(k in s)print s[k]", ",k}' inFile 

拓展上，对于可读性，使用sum/key，而不是s/k：

{         # Do for each line. 
    sum[$2] += $1     # Add first field to accumulator, 
            # indexed by second field. 
            # initial value is zero. 
} 
END {        # Do this bit when whole file processed. 
    for (key in sum)    # For each key like cc=US: 
     print sum[key] ", " key # Output the sum and key. 
} 

这里有我的盒子样品运行：

pax$ echo;echo '56, cc=DK 
49, cc=US 
34, cc=GB 
32, cc=DE 
32, cc=NZ 
31, cc=DK 
31, cc=GB 
31, cc=GB' | awk '{s[$2]+=$1}END{for(k in s)print s[k]", "k}' 

32, cc=DE 
96, cc=GB 
32, cc=NZ 
49, cc=US 
87, cc=DK 

这工作尽管第一列的形式999,的（注意最后的逗号），只是因为awk，当在数字上下文中计算字符串，只使用在该上下文中有效的前缀。因此45xyzzy将变成45，更重要的是，49,变成49。

Answer 2

Perl的溶液：

perl -ane '$h{ $F[1] } += $F[0] }{ print "$h{$_}\t$_\n" for keys %h' input.csv 

说明：

• -n处理由线
• -a输入线按空白进行分割输入线到@F阵列
• 中的字段哈希表％h记录每个键的总和（2 ^nd列）。它只是将第一列的值添加到它。
• }{（称为“爱斯基摩人的问候语”）分开什么是从每行代码（-n）执行整个输入被处理

Answer 3

这是确定使用awk这种简单的任务后运行，但如果你有很多类似的任务，你可能需要在将来改变它，很容易搞砸了。

由于这是典型的数据库问题，请考虑使用sqlite。

您可以：

1. 添加行名称和删除多余的空格：

   $ cat <(echo "num, name") originalInput.txt | tr -d ' ' > input.csv 
   

2. 导入数据到临时的SQLite数据库：从数据库

   $ sqlite3 --batch temp.db <<EOF! 
   .mode csv 
   .import input.csv input 
   EOF! 
   

3. 选择：

   $sqlite3 temp.db 'SELECT sum(num), name FROM input GROUP BY name' 
   32|cc=DE 
   87|cc=DK 
   96|cc=GB 
   32|cc=NZ 
   49|cc=US 
   

它稍微多一点的代码，并使用外部sqlite3命令，但它是显著不容易出错多灵活。你可以很容易地加入几个CSV文件，使用奇特的排序，等等。

此外，假设你自己在六个月后查看代码，试图快速了解它的功能。