让网络抓取工具离开您的网站

Question

网络开发中有什么方法可以确保抓取工具无法抓取您的网站吗？

User-agent: * 
Disallow:/

注意，这不会阻止不文明的机器人从建立索引：

Answer 1

确保？你可以用robots.txt礼貌地问（但他们可以被忽略），你可以用CAPTCHA（但它们可以被击败并给普通用户施加一个障碍）挡住障碍，并且你可以监视每个人的行为访客寻找僵尸模式（但机器人可以代理周期和速率限制）。

Answer 2

你可以在你的站点的根目录，这将防止文明机器人从索引它放置robots.txt文件包含以下内容。阻止他们的唯一方法是使用Captcha等技术。

当然，最好使用专门的开发机器，在您的网站正在建设时无法从互联网访问。

Answer 3

使用robots.txt指示或允许/禁止机器人将您的网站编入索引。

Answer 4

您还可以根据crawlers user agent拒绝访问，当然这假设爬网程序使用的用户代理与常规浏览器不同。