网站/ webURL如何通过网络爬虫和机器人停止访问？

Question

我有一个网站，很多时候这个网站是由网络爬虫机器人访问。我想摆脱它。 Plz建议我可能的解决方案，以避免我的网站被机器人访问。

在此先感谢！

Answer 1

如果您的网站是公开的，您的选择是有限的。这里有几点建议：

• 最明显的是：密码保护您的网站。这可能不是最实用的公共场所，但保证工作。
• 为您的网站定义robots.txt规则。爬行者没有义务遵守这些规则，但友好的（希望他们大多数）通常会遵守robots.txt。
• 如果这些机器人因为他们对你的网站不够好而感到不快（比如打得太快），还可以选择检测并阻止他们的IP。只有当他们不从一个不同的IP地址爬行时，这才会起作用。
• 希望网络爬虫机器人通过不同的HTTP请求User-Agent值正确识别您的网站。您可以阻止您的网页寻找不需要的用户代理。 robots.txt可以做到这一点，但在这里我正在讨论让Web服务器检测到它，而不是渲染页面或返回错误。

你没有说你为什么想阻止它们。答案可能会影响你采取的方法。例如，如果您想将敏感数据保存到选定的一组人群中，那么密码保护可能是最好的方法，而不是试图永远追捕机器人。如果这是网站性能问题，请考虑为您的网站设置更强大的主机。希望有一个或上述建议的组合能为你做好这项工作。