如何使用气流与芹菜

Question

我是新来的气流和芹菜，我已经完成绘制DAG了，但我想运行任务在两台计算机是在同一子网，我想知道如何修改airflow.cfg。一些例子可能会更好。感谢任何答案orz。

Answer 1

的Airflow documentation涵盖这相当不错：

首先，你需要一个芹菜后端。这可以是例如Redis或RabbitMQ。然后，您的airflow.cfg中的执行程序参数应设置为CeleryExecutor。

然后，在airflow.cfg的celery部分，将broker_url设置为指向您的芹菜后端（例如，redis：// your_redis_host：your_redis_port/1）。 点celery_result_backend到一个sql数据库（你可以使用相同的主要气流db）。

然后，在您的工人机器上，只需启动气流工作人员，并且您的工作应在两台机器上启动。