Scrapyd暂停/继续工作

看起来像没有合法的方式来暂停/继续爬行Scrapyd，就像Scrapy本身一样（scrapy爬行蜘蛛-s JOBDIR = jobdir/spider-1）。我发现的唯一的解决办法是在这里：Scrapyd暂停/继续工作

https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ

，但我一直搞不明白的想法。

那么可以暂停/继续Scrapyd的工作吗？

感谢您的时间

来源

2017-09-26 Pachvarsh

的想法是以下几点：

当您从cmd运行蜘蛛可以粘贴额外的参数，例如：scrapy crawl myspider -s JOBDIR=crawls/somespider-1

当您在端点schedule.json使用Scrapyd你也可以粘贴一些设置。如果您正在使用scrapyd-client这将是这样的：

s = {'JOBDIR': 'crawls/somespider-1'} 
job = api.schedule(project_name, spider_name, settings=s)

后，您可以取消作业。下一次，当你将运行同样的工作--retrieyd恢复以前的工作

来源

2017-09-26 06:08:02 AndMar

对不起，我不明白在哪里写这个选项。如果我运行爬虫：（curl http：// localhost：6800/schedule.json -d project = my-parsers -d spider = my_spider）我应该在哪里粘贴你的代码？ – Pachvarsh

在这种情况下，你可以这样拨打电话：'curl localhost：6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1' – AndMar

不幸的是，不管工作。当我恢复这样的工作：'curl localhost：6800/schedule.json -d project = my-parsers -d spider = my_spider -d settings = JOBDIR = crawls/somespider-1 jobid = 3123asds5f34141asdfesw324'新的解析从头开始，只有一个日志是相同的 – Pachvarsh

Scrapyd暂停/继续工作

回答

相关问题