该代码是否阻止漫游器爬取我的页面？

Question

我的网站曾经在google，yahoo和bing上有很高的索引。但突然间它完全消失了。

我已经重新提交给谷歌，创建一个站点地图等尝试和重新索引我的网站没有成功。所以我读了关于检查我的.htaccess文件，看看我是否被黑客入侵。

我在我的.htaccess文件中遇到以下问题。

RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} ^.*(bot|urp|msn).* [NC] 
RewriteRule ^(.*) 501.html [NS,NC,L] 

就是有人能告诉我，如果这是我的抓取网页或没有阻止僵尸？

在此先感谢！

Answer 1

是的，这个规则阻止他们访问您的网站。删除这三条线，给他们适当的访问。如果您想阻止他们访问您网站的特殊部分，请改为使用robots.txt。