有没有办法解决以下问题?屏幕抓取:绕过“HTTP错误403:robots.txt不允许的请求”
httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt
是解决这个问题的唯一办法联系该网站所有者(barnesandnoble.com)..我要建一个网站,给自己带来更多的销售,不知道为什么他们会在某个深度拒绝访问。
我在Python2.6上使用mechanize和BeautifulSoup。
希望有一个变通
可能有法律问题,如果你打算赚钱,但如果你不” t,请继续。万岁scroogle。 – 2010-05-17 00:44:35