最快的方法来判断Unix/Linux中的两个文件是否相同？

Question

我有一个shell脚本，我需要检查两个文件是否相同。我为很多文件做了这个，并且在我的脚本中，diff命令似乎是性能瓶颈。

这里的行：

diff -q $dst $new > /dev/null 

if ($status) then ... 

莫不是比较的文件，可能是自定义算法，而不是默认diff更快的方法？

Answer 1

相信cmp将在第一个字节的区别停止：

cmp --silent $old $new || echo "files are different" 

Answer 2

为什么你不能得到两个文件内容的散列？

试试这个脚本，调用它例如script.sh，然后运行它，如下所示：script.sh FILE1.TXT FILE2.TXT

#!/bin/bash 

file1=`md5 $1` 
file2=`md5 $2` 

if [ "$file1" = "$file2" ] 
then 
    echo "Files have the same content" 
else 
    echo "Files have NOT the same content" 
fi 

Answer 3

对于不相同的文件，任何方法都需要完全读取两个文件，即使读取过去也是如此。

没有其他选择。因此，在某个时间点创建哈希或校验和需要阅读整个文件。大文件需要时间。

文件元数据检索比读取大文件要快得多。

那么，有什么文件元数据可以用来确定文件是不同的吗？ 文件大小？或甚至只读取文件的一小部分的文件命令的结果？

文件大小示例代码片段：

ls -l $1 $2 | 
    awk 'NR==1{a=$5} NR==2{b=$5} 
     END{val=(a==b)?0 :1; exit(val) }' 

[ $? -eq 0 ] && echo 'same' || echo 'different' 

如果文件是相同的大小，然后你被卡住完整的文件读取。

Answer 4

我喜欢@Alex Howansky为此使用了'cmp --silent'。但我需要正反两方面的回应，所以我使用：

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###' 

然后我就可以在终端或用SSH运行此检查的文件对一个恒定的文件。

Answer 5

尝试也使用校验和命令：

chk1=`cksum <file1> | awk -F" " '{print $1}'` 
chk2=`cksum <file2> | awk -F" " '{print $1}'` 

if [ $chk1 -eq $chk2 ] 
then 
    echo "File is identical" 
else 
    echo "File is not identical" 
fi 

的校验和命令将输出文件的字节数。参见'man cksum'。