什么可能是这个sed命令的更快更换？

Question

我有一个脚本，其中sed命令在输入文件上工作。

sed -i 's/SESSION_ID/sid/g;s/TIME_HOUR/hh/g;s/TIME_MINUTE/mm/g;s/TIME_SECOND/ss/g;s/TIME_MILLISECOND/mss/g;s/MSISDN/MS/g;s/IMSI/IM/g;s/IMEISV/IV/g;s/name_ALLOCATED_UE_ADDRESS_IPV4/aI4/g;s/IPV6/I6/g;s/OPERATION_TYPE/OT/g;s/LOCATION_AREA_CODE/LC/g;s/CELL_IDENTITY/CI/g;s/RAT_TYPE/RT/g;s/APN/AP/g;s/COUNTRY_CODE/CC/g;s/NETWORK_CODE/NC/g;s/name_SGSN_ADDRESS_IPV4/sI4/g;s/QCI/QC/g;s/SUBSCRIBERGROUP/SG/g;s/MONITORING_KEY/MK/g;s/QUOTA_VOLUME_BIDIRECTIONAL/QV/g;s/MBR_UL/MU/g;s/MBR_DL/MD/g;s/RULE_ID/RD/g;' $FiletosqeezE 

现在的问题是..它需要更多的时间比预期得到执行。你能告诉我可以更快更换这个sed命令吗？我们甚至可以在这里得到perl的帮助.....谢谢。

Answer 1

使用命令行的perl（接合所有的替换成一个单一的表达）：

perl -i -pe ' 
    BEGIN { 
     %hash = qw(SESSION_ID sid TIME_HOUR hh TIME_MINUTE mm TIME_SECOND ss TIME_MILLISECOND mss MSISDN MS IMSI IM IMEISV IV name_ALLOCATED_UE_ADDRESS_IPV4 aI4 IPV6 I6 OPERATION_TYPE OT LOCATION_AREA_CODE LC CELL_IDENTITY CI RAT_TYPE RT APN AP COUNTRY_CODE CC NETWORK_CODE NC name_SGSN_ADDRESS_IPV4 sI4 QCI QC SUBSCRIBERGROUP SG MONITORING_KEY MK QUOTA_VOLUME_BIDIRECTIONAL QV MBR_UL MU MBR_DL MD RULE_ID RD); 
     $pat = join "|", sort {length($b) <=> length($a)} keys %hash; 
    } 
    s/\b($pat)\b/$hash{$1}/g; 
    ' $FiletosqeezE 

开关：

• -i：编辑到位<>文件（使备份如果分机供给）
• -p：为每个“行创建一个while(<>){...; print}行”在你的输入文件中。
• -e：通知perl在命令行上执行代码。

Answer 2

如果您需要能够真正做到所有每行的替代品，你不太可能能够使其更快，至少sed本身。其他工具（如awk和perl）可能会为您提供改进。

如果有可能您可以利用额外信息您可能有，有一些方法可能使它更好。

例如，如果你只希望一个出现在每行每串（如SESSION_ID），你可以摆脱全球标志g，这将意味着它不会处理行的其余部分的每次更换。

或者，如果每一行永远只能包含一个关键字（例如，既SESSION_ID和TIME_HOUR没有台词，你可以使用像awk做代，并使用next使得第一替补立即移动到下一行，而不是检查所有其他

或者，如果你知道所有的关键字是在该行的开始，你可以改变你的替代品：

s/SESSION_ID/sid/g 

到：

s/^SESSION_ID/sid/ 

这可能会加快速度，因为它不会有超越前几个字符。

但是，如果没有额外的信息，您可能会通过为此特定目的创建一个硬编码的程序而不是通过脚本使用更通用的sed来获得更快的性能。

因此，您可以调整每个读取调用的加载数据量等。我不希望因为你的sed字符串是固定的而不是正则表达式，所以这是一个很大的改进，但是如果你愿意投入前期工作，它可能是值得一试的。

---

对于它的价值，这sed命令，通过在我的箱子少于12秒的100M源文件轻盈，我不认为太糟糕。

只要确保无论您测试的选项是否正确测试。 措施，不要猜测！

Answer 3

根据著名的sed的一行文字： http://sed.sourceforge.net/sed1line.txt

如果修改替换这样的：

sed 's/something/changed/g;s/another/one/g' 

到

sed '/something/ s//changed/g; /another/ s//one/g' 

你会得到改善，我测试它在一个小文件上，系统部分减半：

(precise)cronkilla@localhost:/tmp$ time sed 's/dog/cat/g;s/fox/horse/g;s/quick/slow/g;s/the/blah/g' n4.txt > n6.txt 

real 0m0.043s 
user 0m0.039s 
sys 0m0.004s 


(precise)cronkilla@localhost:/tmp$ time sed '/dog/ s//cat/g;/fox/ s//horse/g;/quick/ s//slow/g;/the/ s//blah/g' n4.txt > n6.txt 
real 0m0.052s 
user 0m0.050s 
sys 0m0.002s