-3
我正在尝试使用下面的Scrapy
的Request
方法,但它不会调用callback
self.link_to_problem
。 URL的所有印刷正确的,当我打电话print path
,我也尝试打开这些网址在我的浏览器和格式正确无误。有人可以确定代码中是否有问题?Python Scrapy请求方法不起作用
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.http.request import Request
import scrapy
def parse_item(self, response):
for link in response.xpath("//div[@id='siteTable']//div[@class='entry unvoted']/p[@class='title']/a/@href").extract():
path = "https://www.reddit.com" + str(link)
print path
yield Request(path, callback=self.link_to_problem, errback = self.error_print)
def link_to_problem(self, response):
print response
print "------------------------------------------------------------------------------------------"
是'link_to_problem'叫?你检查过吗?提问时也要小心谨慎。 – Mani
没有'link_to_problem'没有被调用,我为什么认为可能是我如何调用Request方法有问题。 –
我看不出有什么问题的代码,请仔细查看项目设置和代码。或者尝试删除errback。 – Mani