阻止网络蜘蛛

Question

我想阻止所有的网络蜘蛛真空我的网站。

有没有办法？

我只发现了一些Apache的规则，从2008年（像这样） http://perishablepress.com/ultimate-htaccess-blacklist/

Answer 1

不幸的是，没有一种方法来访问您的网站阻止所有脚本：如果一个人就可以了，没有什么可以阻止任何人书写蜘蛛的行为与人类相似，因此可以查看每一页。 您可以查看技术以防止某些机器人访问您的网站（您可以使用大多数搜索引擎来完成此操作），但是如果它保持足够长的时间并进行一些访问，它很可能最终会在某个数据库中结束。

看一看here。