如何在联接文本文件中查找重复的行

Question

我最近将10个JavaScript文件转换为一个文件，然后运行JavaScript编译器。我刚刚有一个错误，我已经重用了函数名。

是否有一个工具来检查组合文件中的重复行/函数名称？

或者我应该创建一个小程序？

Answer 1

我还没有尝试过，但在http://www.rlvision.com/dupli/about.asp上提供的“Dupli Find”可能对您有所帮助。

http://secretgeek.net/ps_duplicates.asp中概述的windows powershell脚本还可以帮助您编写自定义工具。

还有一个在 http://www.microsoft.com/technet/scriptcenter/resources/qanda/aug05/hey0819.mspx

Answer 2

cat file.js | grep -o "function\([[:space:]]\+[a-zA-Z0-9_]\+\)\?[[:space:]]*(" | sort | uniq -c | sort -n 

脚本解决方案内容如下：

• 猫文件
• 查找函数定义（函数WS-名-WS-括号） -o仅提取行的匹配部分（即，仅限定义本身）
• sort（for next步骤）
• 计数相同consequetive行（uniq删除重复，-c增加了一个计数）
• 排序数值由出现计数，以便重复（如果有最后出现）

你可以过滤掉非重复，但更容易排序，所以他们先来。

编辑更改正则表达式，包括匿名函数