谷歌索引我的测试文件夹在我的网站:(我如何限制网络爬虫！

Question

帮助！谷歌索引我的网站上的测试文件夹，没有人保存我本来应该知道的:(如何限制谷歌。从索引链接和某些文件夹

Answer 1

使用robot exclusion file，或者更好的密码保护测试领域使用robots.txt文件！ “保护”你不希望别人看到的地方有点像在你的后门挂上一个标志，说“我已经离开这个开放，但请不要进来” :)

如果您Google webmaster tools注册，你可以请求删除搜索结果，如果你确保它不再通过访问他们的履带。

Answer 2

使用robots.txt

谷歌为它，或查看：http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40360

Answer 3

避免抓取工具为您的部分内容编制索引的最佳方法是通过您网站根目录的robots.txt文件。

下面是一个例子：

User-agent: * 
Allow:/
Crawl-delay: 5 

User-agent: * 
Disallow: /cgi-bin 
Disallow: /css 
Disallow: /img 
Disallow: /js 

在第一个块，我告诉他履带可以浏览所有。

第二个块有我希望他避免的文件夹列表。

这不是一个安全的方式确实保护它，因为一些爬虫不尊重它。

如果你真的想要保护它，最好的办法应该是在这些文件夹上有一个.htaccess文件来强制认证。

Answer 4

当心！你可以告诉“好”的机器人（如谷歌）远离某些地方，但其他机器人不会发挥出色。因此，正确解决这个问题的唯一方法就是对那些不被视为“公共”的地方添加一些限制。您可以限制对您信任的某些IP地址的访问，或者您可以添加用户名/密码认证。

Answer 5

也许正确的答案是不把测试代码放在公共网站上。为什么它是你部署的一部分？

Answer 6

如果你使用Apache：

的.htaccess

AuthUserFile //.htpasswd AuthGroupFile /dev/null AuthName "You must log in to access this development web site" AuthType Basic

<Limit GET>

require valid-user 

</Limit>

密码文件（htpasswd的），那么包含

name:password

的密码进行加密。如果您搜索“htpasswd”，您会发现许多免费程序为您加密密码。

TRiG。