我在http://www.ulta.com/makeup-eyes-eyebrows?N=26yi上刮所有产品的详细信息。我的规则复制如下。我只从第一页获得数据,而不会进入下一页。爬行蜘蛛不进入下一页
rules = (Rule(LinkExtractor(
restrict_xpaths='//*[@id="canada"]/div[4]/div[2]/div[3]/div[3]/div[2]/ul/li[3]/a',),
callback = 'parse',
follow =True),)
任何人都可以帮助我吗?
使用CrawlSpider在下面的问题中提到,https://stackoverflow.com/questions/32624033/scrapy-crawl-with-next-page –
我认为我的代码完全遵循上面链接中的爬行蜘蛛。但不起作用 –