在同一时间接收任务的1000我正在运行产生近10000对象的脚本后死亡。在每个对象的保存中,Celery任务将被调用,因此在短短1-3分钟内,Celery将接收1000个任务并且其工作人员正在死亡(状态仍显示为RUNNING)。工人在Django芹菜
所以我需要一次又一次的重新启动。由于我重新启动很多次,许多Python进程(运行Celery)消耗了大量内存。
在同一时间接收任务的1000我正在运行产生近10000对象的脚本后死亡。在每个对象的保存中,Celery任务将被调用,因此在短短1-3分钟内,Celery将接收1000个任务并且其工作人员正在死亡(状态仍显示为RUNNING)。工人在Django芹菜
所以我需要一次又一次的重新启动。由于我重新启动很多次,许多Python进程(运行Celery)消耗了大量内存。
如果我理解正确,你有同样的问题,我有几个星期前。每隔一段时间,似乎我们的芹菜工人就冻结了(我们发现它实际上正在接受任务,但没有执行任何操作),并且在重新启动工作人员之后,它会急于完成任务直到它再次冻结。
的问题通过执行以下操作PIP安装解决。
pip install https://github.com/celery/billiard/zipball/2.7
pip install https://github.com/celery/celery/zipball/asynwrite
我在芹菜项目的GitHub问题跟踪页面找到了解决方案,但找不到确切的票证。 Heres a link to a similar issue though (that uses this as a solution).
你是如何运行你的芹菜工人?是通过主管还是其他方式? –
这是一段时间了,但是,我相信这是通过主管 – Hodson
那么究竟什么是你的问题?请清除 –
我必须做某些事情,这样工作人员不应该死亡,我不应该重新启动,它应该自动重新生成,进程不应该像那样累积。 – user2349115
我在前面的评论中提到了我想要的内容 – user2349115