谷歌机器人，虚假链接

Question

我有一个谷歌机器人有点问题，我有一个Windows Server的服务器2009年的工作，该系统被称为Workcube和它的工作原理上的ColdFusion，有内置的错误报告，因此，我收到的每错误消息，尤其是它涉及谷歌机器人，试图去一个虚假的链接，这是不存在的！链接如下：

1. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=282&HIERARCHY=215.005&brand_id=hoyrrolmwdgldah
2. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=145&HIERARCHY=200.003&brand_id=hoyrrolmwdgldah
3. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=123&HIERARCHY=110.006&brand_id=xxblpflyevlitojg
4. http://www.bilgiteknolojileri.net/index.cfm?fuseaction=objects2.view_product_list&product_catid=1&HIERARCHY=100&brand_id=xxblpflyevlitojg

当然有像brand_id = hoyrrolmwdgldah或brand_id = xxblpflyevlitojg是假的定义

，我不有什么想法可能是什么问题？！需要咨询！谢谢大家的帮助！ ;）

Answer 1

您可能想使用Google网站站长工具验证您的网站，该工具将提供发现错误的网址。

你的日志也是有效的，但你需要验证它确实是Googlebot打你的网站，而不是别人欺骗自己的用户代理。

这里是说明来做到这一点：http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html

基本上你需要你收到来自反向查找主机后做一个反向DNS查找，然后正向DNS查找。

一旦您确认这是真正的Googlebot，您就可以开始排除故障。您看到Googlebot不会请求以前没有看到的网址，这意味着Googlebot不应直接提供对象引用请求。我怀疑这是一个带有Googlebot用户代理的流氓机器人，但如果不是，您可能需要查看您的网站，看看您是否意外链接到这些网页。

遗憾的是您发布的完整URL，这样即使你在清理网站，Googelbot将看到堆栈溢出的联系，并继续抓取他们，因为这将是他们的抓取队列。

我建议301重定向这些URL在某处有意义给用户。否则，我会404或410这些网页，让谷歌知道从他们的索引中删除这些网页。

此外，如果这些网页，你不想要索引，我会建议增加的路径，你的robots.txt文件，因此Googlebot无法继续要求更多的这些网页。

不幸的是告诉Googlebot，绝对不要再检索这些网址没有真正的好办法。您随时可以访问Google网站管理员工具并请求将其从索引中移除的网址，这可能会阻止Googlebot再次抓取它们，但这并不能保证。