只重定向谷歌机器人

有没有一种方法，我们可以只重定向谷歌机器人而不是人类？只重定向谷歌机器人

我有排名相当不错的网页，但想留下它可如果输入直接在网址而不是通过搜索引擎列表

这可能与的.htaccess或robots.txt的？

2012-03-27 John Kim

不要仅仅依靠robots.txt。并非所有爬虫都尊重这一点。

您可以查找某个特定的迹象表明您的Web服务器正在被bot访问，并为其选择一个HTTP响应。

举例：我被困扰频繁访问由Yandex的BOT：

RewriteCond %{HTTP_USER_AGENT} Yandex [NC] 
RewriteRule .* http://go.away [L,R=301]

2012-03-28 00:09:22 Kaz

robots.txt将为您完成这项工作，但可能需要几天（几周）。

2012-03-27 04:19:35

这里是你正在寻找的东西：http://www.robotstxt.org/orig.html

2012-03-27 04:19:44 Timoun

请注意，我不希望在所有排除页面！我只是想将漫游器重定向到另一个外部域 – 2012-03-27 11:47:32

回答