apache-airflow

10热度

2回答

从气流文档： SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 我明白subdagoperator作为一个BackfillJob实际实现的，因此，我们

5热度

1回答

气流管理UI显示示例dags

我想在本地系统上设置Airflow。我已经使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然后我就初始化气流DB通过 airflow initdb 然后我用开始气流Web服务器： airflow webserver -p 8080 现在，当我打开本地主机：8080，管理员面板显示来自的示例dag /usr/local/lib/p

1热度

1回答

气流任务没有被触发

我正在调度dag并显示处于运行状态，但任务没有被触发.Airflow调度程序和Web服务器已启动并正在运行。我在界面上将Dag切换为ON。我仍然无法解决问题。我正在使用CeleryExecutor尝试更改为SequentialExecutor，但没有运气。

1热度

2回答

没有网络服务器刷新dag重启apache airflow

有什么办法可以在不重启服务器的情况下实现作业吗？

2热度

1回答

使用Airflow运行.EXE和Powershell任务

我们的系统基本上只是运行C＃和Powershell应用程序以及MS SQL Server的Windows服务器。我们有一个内部的WorkflowManagement解决方案，能够运行执行EXE/BAT/PS1的任务，甚至可以调用DLL函数。现在我正在评估Apache Airflow是否是更好的解决方案。我迄今为止的天真计划是在Linux机器上运行气流调度程序，然后让消费者在Windows机器上运

8热度

1回答

如何停止/终止UI中的气流任务

如何在Airflow UI上停止/终止正在运行的任务？我正在使用LocalExecutor。即使我使用CeleryExecutor，我该如何杀死/停止正在运行的任务？

0热度

1回答

未来的气流DAGs计划

我想弄清楚如何配置/计划一个气流DAG在确切的时间每天运行两次，而不是在符合标准的同时运行两次。我想在午夜和晚上9点运行相同的任务。为此，我添加了一个cron到schedule_interval像0 0,21 * * *，所以它每天在午夜和晚上9点运行。但是今天（4月27日）的运行时间为昨天（4月26日）的00:00:00，并且00:00:00和21:00:00同时运行。预期行为将于今天（4

0热度

1回答

在Airflow UI中，我可以添加aws连接吗？

在这个example，我看到EmrCreateJobFlowOperator接收是建立在气流UI的AWS/EMR连接： cluster_creator = EmrCreateJobFlowOperator( task_id='create_job_flow', job_flow_overrides=JOB_FLOW_OVERRIDES, aws_conn_id='aws

1热度

1回答

如何将ds变量传递给dag中的函数？

我想传递变量{{ds}}中的执行日期。但是，我通过一个函数传递它，它没有得到执行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

0热度

1回答

Airflow如何连接到Spark，并且可以为Airflow中的用户设置不同的访问权限？

嗨，我还是新来的气流。我想知道Airflow如何连接到Spark？我有一台服务器与不同的帐户（或配置文件）来访问Spark群集。我不知道Airflow是否有固定的配置文件来连接火花？或者它遵循用户配置文件？另外，是否有可能为Airflow中的用户设置不同的访问权限？例如，有权访问Spark（或hdfs）中的位置A的用户A只能运行与位置A有关的任务（因此无法从位置B运行任何作业） Thanks