创建一个文件比较软件

Question

我想创建一个能够确定一些文字是通过读取两个文件的文本，并比较他们两个文件之间进行复制的应用程序。我想知道是否有人曾试图做到这一点，以及处理这种情况的最佳方式是什么。如果涉及机器学习和自然语言处理：到什么程度？

Answer 1

我相信Copyscape使用4克帮助确定唯一性。

这些字符串被称为N-Grams。

然而，another SO answer链接到language independent algo comparing bi-grams角色的基础上。它已经在Java中实现，这将有助于节省时间。

Answer 2

有技术，这完全依赖于集合论的概念

尝试http://en.wikipedia.org/wiki/W-shingling一个良好的开端。