2016-02-11 28 views
0

因此,我尝试抓取目标产品的评分,并使用ajax。我找出了XHR的网址是: http://tws.target.com/productservice/services/reviews/v1/reviewstats/21499594Scrapy:此服务不提供或不允许使用

现在是部分混淆了我: 1.如果我去target.com,搜索特定产品,打开它,然后去上述网址,我可以在浏览器中看到json文件 2.但是,如果我只是直接在浏览器中输入URL,则会收到一条错误消息,指出“此服务未提供或不允许使用此来源。”

原因是什么,我该如何解决这个问题? 谢谢! (我用的方式scrapy)

回答

0

我找到一个可行的解决方案,但如果有人能告诉我的基本机制:)

所以在我的要求下,我添加了一个头,这将是梦幻般的说我来自target.com('Origin':'http://www.target.com'),那么一切正常

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 ' 
        '(KHTML, like Gecko) Chrome/48.0.2564.97 Safari/537.36', 
       'Origin': 'http://www.target.com' 
     } 

jsoncontent = requests.get(url, headers=head).content 
jsdict = json.loads(jsoncontent) 
相关问题