airflow-scheduler

1热度

1回答

我想传递变量{{ds}}中的执行日期。但是，我通过一个函数传递它，它没有得到执行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

0热度

1回答

Airflow如何连接到Spark，并且可以为Airflow中的用户设置不同的访问权限？

嗨，我还是新来的气流。我想知道Airflow如何连接到Spark？我有一台服务器与不同的帐户（或配置文件）来访问Spark群集。我不知道Airflow是否有固定的配置文件来连接火花？或者它遵循用户配置文件？另外，是否有可能为Airflow中的用户设置不同的访问权限？例如，有权访问Spark（或hdfs）中的位置A的用户A只能运行与位置A有关的任务（因此无法从位置B运行任何作业） Thanks

0热度

1回答

气流不满足任务依赖关系

我有一个简单的气流工作流程，由两个任务组成。其中一个会下载包含库存数据的csv文件。另一个提取最大股价并将数据写入另一个文件。如果我运行第一个任务，然后第二个一切工作正常，而不是如果执行：airflow运行stocks_d get_max_share它无法满足依赖项。 import csv from datetime import datetime from datetime import

1热度

1回答

气流 - 是否可以使用回填命令一次（按顺序）运行一天？

基本上，我想运行一个月的回填命令。但是有一些任务取决于前一天的数据。据我所知，这个命令每天都在同一时间运行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有没有办法使回填命令一次运行一天（按顺序）？干杯。

2热度

3回答

气流取消暂停DAG编程？

我有，我们将部署到多个不同的气流情况，并在我们的airflow.cfg我们dags_are_paused_at_creation = True但对于这个特定的DAG我们希望它被打开，而无需通过点击UI人工手动做一个DAG。有没有办法做到这一点编程？