芹菜和Scrapyd之间的区别

Question

我用Portia制作了一个小型scrapy蜘蛛。我已经将它部署在Scrapyd中并且工作正常。

搜索后，我发现我们可以使用芹菜来安排蜘蛛。

其实Scrapyd和芹菜之间的区别是什么？

任何人都可以帮助我。

谢谢。

Answer 1

Scrapyd主要侧重于部署scrapy蜘蛛，而Celery是以分布式和可伸缩的方式运行异步任务的通用框架。

你可以做一个与另一个。但scrapy正如你所知是专注于刮网，然而用芹菜你会定义你的任务。

scrapy + scrapyd：Scrapyd是为scrapy构建的，当你将“部署”一个新的蜘蛛时，它的运行scrapy crawl myspider。 Scrapyd还提供了一个web服务来上传和启动新的蜘蛛和一些更多的功能。

scrapy + celery：您需要实施的芹菜任务基本上与scrapyd中给出的基本相同。这种方式的主要优势IMO是如果您最终会有瑞德莱特不能提供的要求，用芹菜更容易实现它们，因为在芹菜中您定义了自己的任务。

从Celery：

芹菜是基于分布式消息传递一个异步任务队列/作业队列。它专注于实时操作，但也支持调度。

从Scrapyd：

Scrapyd是部署和运行Scrapy蜘蛛的应用程序。它使您能够使用JSON API部署（上传）您的项目并控制其蜘蛛。