使用python scrapy通过多线程抓取网页

Question

使用scrapy通过多线程scrapy内部实现抓取数据的可能性本身就是一个多线程？

Answer 1

Scrapy因为它基于twisted，所以内部行为是完全异步和事件驱动的。

请参阅Architecture Overview，尤其要注意Data Flow部分。

您可能还需要看一看scrapyd项目：

Scrapyd是听蜘蛛运行 请求，并产生对每一个过程的应用程序（通常作为后台进程运行）。

Scrapyd也运行在并行的多个进程，在 固定数目的由max_proc和max_proc_per_cpu 选项，开始尽可能多的进程尽可能来处理负载给定时隙的分配它们。