将不同的IP地址绑定到scrapy蜘蛛

Question

如何将不同的公共IP地址绑定到scrapy蜘蛛？此外，是否可以为每个源ip设置速率限制（如CONCURRENT_REQUESTS_PER_SOURCE_IP）。

从scrapy文档中，CONCURRENT_REQUESTS_PER_DOMAIN和CONCURRENT_REQUESTS_PER_IP都似乎适用于目标域和目标IP。

Answer 1

这是可能的，但需要您稍微改变Scrapy核心。 前些时候有人提出了一项变更建议，但它从来没有通过当前源代码的表现来实现。

随着the information in this change proposal你应该能够在几分钟内自行修补它。

虽然变更建议已经超过1,5岁，但该具体建议的编辑文件的当前来源仍然非常相似。