网络爬虫HTTP错误403：禁止

我是一个尝试编写网络蜘蛛脚本的新手。我想转到一个页面，在文本框中输入数据，通过单击提交按钮转到下一页，并在新页面上检索所有数据，迭代。网络爬虫HTTP错误403：禁止

以下是代码我想：

import urllib 
import urllib2 
import string 
import sys 
from BeautifulSoup import BeautifulSoup 

hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3','Accept-Encoding': 'none','Accept-Language': 'en-US,en;q=0.8','Connection': 'keep-alive'} 
values = {'query' : '5ed10c844ed4266a18d34e2ba06b381a' } 
data = urllib.urlencode(values) 
request = urllib2.Request("https://www.virustotal.com/#search", data, headers=hdr) 
response = urllib2.urlopen(request) 
the_page = response.read() 
pool = BeautifulSoup(the_page) 

print pool

以下是错误：

Traceback (most recent call last): 
File "C:\Users\Dipanshu\Desktop\webscraping_demo.py", line 19, in <module> 
response = urllib2.urlopen(request) 
File "C:\Python27\lib\urllib2.py", line 126, in urlopen 
return _opener.open(url, data, timeout) 
File "C:\Python27\lib\urllib2.py", line 406, in open 
response = meth(req, response) 
File "C:\Python27\lib\urllib2.py", line 519, in http_response 
'http', request, response, code, msg, hdrs) 
File "C:\Python27\lib\urllib2.py", line 444, in error 
return self._call_chain(*args) 
File "C:\Python27\lib\urllib2.py", line 378, in _call_chain 
result = func(*args) 
File "C:\Python27\lib\urllib2.py", line 527, in http_error_default 
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp) 
HTTPError: HTTP Error 403: Forbidden

我该如何解决这个问题？

来源

2012-12-21 Dipanshu

错误的路径。 'POST/search /' –

[urllib2.HTTPError：HTTP Error 403：Forbidden]可能的重复（https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden） – djinn

据我所知，您的request参数设置不正确，并且（可能）将您的蜘蛛带到您不应该查看的页面。

This user had a similar problem, but fixed it by modifying the headers。

来源

2012-12-21 09:42:14 NlightNFotis

我加了全部该帖子中指定的标题已经存在，但仍然无法使用！ – Dipanshu

@Dipanshu我不认为你必须添加在这篇文章中指定的标题，因为他试图打开一个不同的网站。你必须定制现有的'request'及其参数。 – NlightNFotis

网络爬虫HTTP错误403：禁止

回答

相关问题