防止蜘蛛匹配URL

Question

如何防止spriders爬行与mydomain.com/abc开始的网页...

例如mydomain.com/abcSGGSHS或mydomain.com/abc6bNNha

我认为我需要在web根目录的.htaccess中添加一些正则表达式，对吧？

Answer 1

是启用了mod_rewrite，你可以做以下

RewriteEngine on 
RewriteBase/
RewriteCond %{HTTP_USER_AGENT} ^YourBadSpiderName [OR] 
RewriteCond %{HTTP_USER_AGENT} ^AotherBadSpider 
RewriteCond %{REQUEST_URI} ^abc 
RewriteRule ^$ http://mydomain.com/404.html [NC,L] 

你必须相应地更新蜘蛛的名字。如果一个机器人改变了他的用户代理，让我们说'Mozilla/Firefox'，那么你的运气不好。