改进csv文件的bash脚本

Question

我在一个文件夹中有一堆CSV文件。他们都在同一个结构上。超过2k列。第一列是ID。

我需要做的每个文件执行以下操作： 对于每个n 奇数柱（除了第一列），执行以下操作：

• 如果n值为0，对于所有的行，然后删除n列，并且还n-1柱
• 如果n值是100，对于所有行的，然后删除该n个列
• 打印除去的列
的索引

我有以下代码：

for f in *.csv; do 
     awk 'BEGIN { FS=OFS="," } 
     NR==1 { 
     for (i=3; i<=NF; i+=2) 
     a[i] 
    }FNR==NR { 
      for (i=1; i<=NF; i++) 
       sums[i] += $i; 
      ++r; 
      next 
     } { 
      for (i=1; i<=NF; i++) 
       if (sums[i] > 0 && sums[i+1]>0 && sums[i] != 100*r) 
       printf "%s%s", (i>1)?OFS:"", $i; 
       else print "removed index: " i > "removed.index" 
       print "" 
    }' "$f" "$f" > "new_$f" 
done 

出于某种原因ID列（第一列）的被删除。

输入：

23232,0,0,5,0,1,100,3,0,33,100 
21232,0,0,5,0,1,100,3,0,33,100 
23132,0,0,5,0,1,100,3,0,33,100 
23212,0,0,5,0,1,100,3,0,33,100 
24232,0,0,5,0,1,100,3,0,33,100 
27232,0,0,5,0,1,100,3,0,33,100 

电流输出（坏）：

,1,33 
,1,33 
,1,33 
,1,33 
,1,33 
,1,33 

预期输出：

23232,1,33 
21232,1,33 
23132,1,33 
23212,1,33 
24232,1,33 
27232,1,33 

任何人都可以查看是什么问题？

Answer 1

您需要从逻辑跳过第一列在以前的专栏检查0：

awk 'BEGIN{FS=OFS=","; out=ARGV[1] ".removed.index"} 
FNR==NR { 
    for (i=1; i<=NF; i++) 
     sums[i] += $i; 
    ++r; 
    next 
} FNR==1 { 
    for (i=3; i<=NF; i++) { 
     if (sums[i] == 0) { 
     if (i-1 in sums) { 
      delete sums[i-1]; 
      print "removed index: " (i-1) > out 
     } 
     delete sums[i]; 
     print "removed index: " i > out 
     } else if (sums[i] == 100*r) { 
     delete sums[i]; 
     print "removed index: " i > out 
     } 
    } 
} { 
    printf "%s", $1 
    for (i=2; i<=NF; i++) 
     if (i in sums) 
     printf "%s%s", OFS, $i; 
    printf "%s", ORS 
} END{close(out)}' file file 

输出：

23232,1,33 
21232,1,33 
23132,1,33 
23212,1,33 
24232,1,33 
27232,1,33 

还删除了指标是：

cat file.removed.index 

cat removed.index 
removed index: 2 
removed index: 3 
removed index: 4 
removed index: 5 
removed index: 7 
removed index: 8 
removed index: 9 
removed index: 11