让Scrapy继续从最后的中断点爬行

Question

我正在使用scrapy来抓取网站，但发生了不好的事情（关机等）。

我不知道该如何继续抓取它从哪里破坏。我不想从种子开始。

Answer 1

这可以通过将预定的请求保存到磁盘来完成。

scrapy crawl somespider -s JOBDIR=crawls/somespider-1 

查看http://doc.scrapy.org/en/latest/topics/jobs.html了解更多信息。