的robots.txt禁止：蜘蛛

Question

我期待在robots.txt file of a site I would like to do a one off scrape并没有这一行：

User-agent: spider 

Disallow:/

这是否意味着他们不希望任何蜘蛛？我的印象是*用于所有蜘蛛。如果这是真的，这当然会阻止像谷歌这样的蜘蛛。

Answer 1

这只是告诉代理人，他们自称spider足够温和，不能浏览网站。

这没有特别的意义。

的robots.txt文件只能由机器人使用，这样的方式来排除所有的机器人是用*：

User-Agent: * 
Disallow:/