芹菜 - 散装队列任务

Question

我已经一些排队的芹菜任务大量（1000），例如起见代码让我们说这就是：

for x in xrange(2000): 
    example_task.delay(x) 

是否有排队的更好/更有效的方法大量的任务一次？他们都有不同的论点。

Answer 1

调用大量的任务对你的芹菜工人来说无法健康。 另外，如果你正在考虑收集调用任务的结果，那么你的代码将不是最优的。

您可以将您的任务分批处理成一定的大小。考虑下面的链接中提到的示例。

http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks