比较搜索机器人的URI？

Question

对于搜索机器人，我工作的一个设计：
*比较URI和
*确定的URI实际上是同一个页面

与重定向和别名处理：
案例1：重定向
案例2：别名例如案例3：URL参数例如sukshma.net/node#parameter

我有两种方法可以遵循，一种方法是明确检查重定向以获得案例＃1。另一种方法是“硬编码”别名，如www，在案例＃2中工作。第二种方法（硬代码）别名很脆弱。 HTTP的URL规范没有提到使用www作为别名（RFC 2616）

我也打算使用Canonical元标记（HTTP/HTML），但如果我理解正确 - 我不能依赖标签在所有情况下都在那里。

请分享您的经验。你知道一个参考白皮书的实现检测搜索机器人的重复吗？

Answer 1

构建您自己的网络爬虫是一个lot of work。考虑检查一些已经可用的开源蜘蛛，如JSpider，OpenWebSpider或many others。

Answer 2

的第一种情况将通过简单的检查HTTP status code来解决。

对于第二和第三例 Wikipedia解释非常好：URL Normalization/Canonicalization。