只遵循使用Scrapy的子链接

Question

我是新来的Scrapy，我不知道如何告诉它只跟随当前url的子页面的链接。例如，如果你在这里：

www.test.com/abc/def 

那么我想scrapy遵循：

www.test.com/abc/def/ghi 
www.test.com/abc/def/jkl 
www.test.com/abc/def/* 

但不是：

www.test.com/abc/* 
www.test.com/* 

或与此有关的任何其他域。

Answer 1

http://doc.scrapy.org/en/latest/topics/spiders.html#basespider-example

写蜘蛛获得的BaseSpider。在basespider解析回调中，您需要返回需要遵循的请求。只要确保您生成的请求具有您喜欢的形式即可。即使用响应中提取的url是当前url的子节点（这将是响应url）。并且提出一个请求对象并产生它们。