在Airflow DAG中生成动态任务

我想要使用Airflow生成客户端报告，我希望有一个DAG循环遍历所有客户端并启动任务以生成报告。客户端列表由DAG中的第一个任务收集，不能被硬编码。在Airflow DAG中生成动态任务

基本上我有一个任务，它使用python操作符中的数据库钩子来生成列表。然后对于列表中的每个项目，我想使用一个python运算符执行一个任务，该运算符将该项目作为参数传递给python函数。有什么模式可以用来实现这一点？

来源

2017-03-31 MarkAWard

Trigger_dag概念

让使用数据库钩在Python运营商生成列表中的任务”是在控制器DAG任务，并在列表中通过每个项目的trigger_dag PARAMS部分。

你会发现在实例引用您的气流安装文件夹

好运！

来源

2017-03-31 17:09:46

感谢答案@priyank，但我还不明白。 TriggerDagRunOperator中的'python_callable'可以读取参数，但只能返回一个dag对象来创建一个dag run。我需要每次用不同的参数执行N次'TriggerDagRunOperator'。在哪里产生任务（或DagRuns）？ – MarkAWard

在Airflow DAG中生成动态任务

回答

相关问题