2013-05-22 125 views
2

在同一时间接收任务的1000我正在运行产生近10000对象的脚本后死亡。在每个对象的保存中,Celery任务将被调用,因此在短短1-3分钟内,Celery将接收1000个任务并且其工作人员正在死亡(状态仍显示为RUNNING)。工人在Django芹菜

所以我需要一次又一次的重新启动。由于我重新启动很多次,许多Python进程(运行Celery)消耗了大量内存。

+1

那么究竟什么是你的问题?请清除 –

+0

我必须做某些事情,这样工作人员不应该死亡,我不应该重新启动,它应该自动重新生成,进程不应该像那样累积。 – user2349115

+0

我在前面的评论中提到了我想要的内容 – user2349115

回答

2

如果我理解正确,你有同样的问题,我有几个星期前。每隔一段时间,似乎我们的芹菜工人就冻结了(我们发现它实际上正在接受任务,但没有执行任何操作),并且在重新启动工作人员之后,它会急于完成任务直到它再次冻结。

的问题通过执行以下操作PIP安装解决。

pip install https://github.com/celery/billiard/zipball/2.7 
pip install https://github.com/celery/celery/zipball/asynwrite 

我在芹菜项目的GitHub问题跟踪页面找到了解决方案,但找不到确切的票证。 Heres a link to a similar issue though (that uses this as a solution).

+0

你是如何运行你的芹菜工人?是通过主管还是其他方式? –

+1

这是一段时间了,但是,我相信这是通过主管 – Hodson