使用awk命令删除带有CRLF的重复文件

Question

Folks， 我一直在使用awk命令删除使用awk的重复项。问题是我面对的是因为每行结尾都有CRLF。 awk中有没有一种方法可以从比较中放弃CRLF？

命令我使用：awk '!seen[$0]++'

记录

HelloworldCRLF 
how are youCRLF 
Helloworld 

第一和第三个记录是相同的，我期待将其删除。我想因为最后一行没有CRLF，所以它保留在输出中。我尝试在记录末尾添加CRLF以确保awk命令将其删除，并且确实如此，但有时最后一条记录确实有CRLF，并且最终会出现一个额外的空白行（因为我添加了CRLF）。有没有办法解决这种情况？

顺便说一下，该文件是在Windows中生成的。

Answer 1

您可以在CRLF序列添加到记录分隔符：

awk -v RS='\n|\r\n' '!seen[$0]++' file 

Answer 2

在进行比较之前更换的\r任何实例。

awk '{gsub(/\r/,"")}; !seen[$0]++' 

Answer 3

你的问题不在于视窗每LF前加入（CRS其他人一样，到目前为止似乎认为），它是你的文件在最后缺少一个换行符（其中Windows是CRLF组合）的文件。当针对没有终止换行符的文件运行UNIX命令时，所有投注都将关闭，因为在那时该文件不再是真正的“文本文件”。你能修改生成文件的任何工具来产生一个终止的换行符吗？如果没有，那么在运行awk或其他任何工具之前，请执行

printf '\r\n' >> file 

。那么你可以运行dos2unix或任何其他建议来处理/删除\r如有必要。例如：

$ cat -v file 
Helloworld^M 
how are you^M 
Helloworld$ 

通知的$，并立即开始我的提示最后Helloworld后，由于文件中缺少换行符。现在：

$ awk -v BINMODE=3 '!seen[$0]++' file | cat -v 
Helloworld^M 
how are you^M 
Helloworld 
$ 
$ printf '\r\n' >> file 
$ 
$ awk -v BINMODE=3 '!seen[$0]++' file | cat -v 
Helloworld^M 
how are you^M 
$ 
$ dos2unix file 
dos2unix: converting file file to Unix format... 
$ 
$ awk '!seen[$0]++' file | cat -v 
Helloworld 
how are you 
$ 

我必须在上述Cygwin来从剥离\r S中的GAWK脚本看到之前停止下级元，使用-v BINDMODE=3与GAWK。

关于评论中的问题，以下是为什么您不能在每个出现在您的dodorstep上的文件上运行dos2unix。想象此文件使用回车（控制-MS）作为字段分隔符：

$ printf 'a\rb\r\nd\r\rf\n' > file 

$ cat -v file 
a^Mb^M 
d^M^Mf 

$ awk -v BINMODE=3 -F'\r' '{for (i=1;i<=NF;i++) print NF, i, "<"$i">"; print "----"}' file 
3 1 <a> 
3 2 <b> 
3 3 <> 
---- 
3 1 <d> 
3 2 <> 
3 3 <f> 
---- 

正如你可以看到AWK正确地认识到，每行有3个字段和字段3是空的第1行，而字段2是在第2行空了。现在，让我们在它上面运行DOS2UNIX的，然后再试一次：

$ dos2unix file 
dos2unix: converting file file to Unix format... 

$ cat -v file 
a^Mb 
d^M^Mf 

$ awk -v BINMODE=3 -F'\r' '{for (i=1;i<=NF;i++) print NF, i, "<"$i">"; print "----"}' file 
2 1 <a> 
2 2 <b> 
---- 
3 1 <d> 
3 2 <> 
3 3 <f> 
---- 

正如你可以看到dos2unix由1号线剥离空场3损坏的文件，因为当它看到\r\n它假定这是一个DOS行结束，而不是FS之后是RS。