请求 - 优文库

的Scrapy堆栈溢出，我有以下while循环报废的问题是，这一进程被因堆栈溢出的杀请求

页

def after_login(self, response): 
    i=100000 
    while (i<2000000): 
     yield scrapy.Request("https://www.example.com/foobar.php?nr="+str(i),callback=self.another_login) 
     i+=1

。有没有办法告诉while循环来排队1000个请求，以及当这些请求排队到另一个1000时？

来源

2016-04-27 Rafael Almeida

你进入无限递归的问题。你为什么从'self.after_login' *开始的请求调用'self.after_login' *？ –

@Martijn我的错误，修复了这个问题 –

你能分享你得到的实际回溯吗？ –

你应该玩Scrapy设置。例如，尝试减小CONCURRENT_REQUESTS，并添加DOWNLOAD_DELAY。

如果没有帮助，看看debugging the memory usage，还看到：

Debugging memory leaks

来源

2016-04-27 14:01:13 alecxe

请求

回答

相关问题