airflow-scheduler

2热度

2回答

使用最新版本的apache airflow。从LocalExecutor开始，在该模式下，一切工作正常，除了Web UI状态需要使用CeleryExecutor的一些交互。使用Redis安装和配置Celery执行程序，将Redis配置为代理程序URL和结果后端。它出现在第一个工作，直到任务计划此时它提供了以下错误： File "/bin/airflow", line 28, in <module

1热度

2回答

气流：如何从PostgreOperator推送xcom值？

我正在使用Airflow 1.8.1，我想推送来自PostgreOperator的SQL请求的结果。这是我的任务： check_task = PostgresOperator( task_id='check_task', postgres_conn_id='conx', sql="check_task.sql", xcom_push=True, d

0热度

1回答

如何定义不应该定期运行的气流DAG /任务

目标非常简单：我需要为手动任务创建一个DAG，该任务不应该定期运行，而只能在管理员按下“运行”按钮时执行。理想情况下，无需切换“取消暂停”和“暂停”DAG（您知道某人肯定会忘记暂停）。到目前为止，我只有schedule_interval="0 0 30 2 *"（2月30日希望永远不会发生），但必须有更好的方法！有吗？

1热度

1回答

如何删除XCOM对象，一旦DAG在Airflow中完成其运行

我在XCOM中有一个巨大的json文件，稍后我不需要一旦dag执行完成，但我仍然可以在UI中看到Xcom对象数据，一旦DAG运行完成后，是否有任何方式以编程方式删除XCOM？谢谢

10热度

2回答

气流任务陷入“排队”状态，永远不会运行

我正在使用Airflow v1.8.1并在kubernetes上运行所有组件（worker，web，flower，scheduler）& Docker。我用芹菜执行人与Redis的，我的任务是看起来像： (start) -> (do_work_for_product1) ├ -> (do_work_for_product2) ├ -> (do_work_for_product

0热度

1回答

调度程序不排队作业

我试图测试Kubernetes上的气流。调度程序，工作者，队列和Web服务器都在不同的部署上，我使用Celery Executor来运行我的任务。除了调度程序无法排队工作以外，一切正常。当我从Web UI或CLI手动执行它时，Airflow能够正常运行我的任务，但我试图测试调度程序以使其工作。我的配置几乎一样，因为它是在单个服务器上： sql_alchemy_conn = postgresql

2热度

1回答

如何在气流中使用--conf选项

我试图运行气流DAG并需要传递任务的一些参数。如何在python DAG文件中读取命令行trigger_dag命令中作为--conf参数传递的JSON字符串。 ex：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

1热度

1回答

气流回填新任务添加到Dag

今天说是2017-10-20。我有一个现在的成功直到今天的DAG。我需要添加一个启动日期为2017-10-01的任务。如何自动从2017-10-01到2017-10-20使调度程序触发器任务成为可能？

0热度

1回答

Apache Airflow多租户

我试图找出Airflow如何在多租户环境中工作。具体来说，要求应该如下所示： TeamA和TeamB两个团队正在使用单个Airflow实例。团队的A和B每个都有自己的服务用户帐户：serviceUserA和ServiceUserB他们应该运行他们的工作。出于安全原因，团队A不应该能够创建在ServiceUserB下运行的作业，反之亦然。在这一点上我不清楚需求3）是否可以用Airflow来满足

1热度

2回答

如何将参数从pythonoperator任务传递到airflow中的simplehttpoperator任务dag？

我想触发simplehttpoperator，像这样：气流trigger_dag test_trigger --conf '{ “名”： “东西”}' 然后我用pythonoperator python_callable使用kwargs [ 'dag_run' 接受的参数] .conf，我想将['dag_run']。conf传递给simplehttpoperator，我该怎么做？任何人都可以帮忙