Scrapy统计信息已抓取的页面和分页数/分

Question

有人可以帮助我了解scrapy统计信息。 我正试图优化aws实例的scrapy爬行速度。 我当前的scrapy爬行速度是INFO: Crawled 32429 pages (at 72 pages/min), scraped 197 items (at 0 items/min)
如果scrapy以72页/分钟爬行什么是32429页？绝对不是32429页/秒...

Answer 1

Crawled X pages这是Scrapy在爬网时收到的HTTP响应总量。

仅供参考，logstats module负责您在控制台上看到的报告。