运行相同的蜘蛛同时放

Question

我使用scrapy 0.20与Python 2.7

我要问，什么是运行相同的蜘蛛的缺点和优点两次在同一时间？

请知道我正在使用管道将结果写入json文件。

感谢

Answer 1

唯一的应用程序，我看到在蜘蛛的同时多个实例在运行时每个实例都将有它的start_urls自己的一部分。但是每个实例应该在不同的网络接口上运行，否则无法有效控制相同域的爬网强度。