airflow

0热度

1回答

带OpenLDAP的气流 - LDAPAttributeError（'无效属性类型'+ attribute_name_to_check）LDAPAttributeError：无效属性类型memberOf

尝试使用本地OpenLDAP验证Airflow的localsetup。但是当试图从Web服务器得到以下错误登录： File "/usr/local/lib/python2.7/dist-packages/ldap3/core/connection.py", line 751, in search raise LDAPAttributeError('invalid attribute type '

4热度

1回答

Airflow default on_failure_callback

在我的DAG文件中，我定义了一个on_failure_callback（）函数来发布失败时的Slack。它工作得很好，如果我指定我的DAG每个运营商：on_failure_callback = on_failure_callback（）有没有一种方法（例如，或通过我的DAG对象通过default_args）自动分派给我的所有运营商？

1热度

2回答

如何动态迭代上游任务的输出以在气流中创建并行任务？

考虑以下DAG示例，其中第一个任务get_id_creds从数据库中提取凭证列表。此操作告诉我数据库中的哪些用户能够运行进一步的数据预处理，并将这些ID写入文件/tmp/ids.txt。然后，我将这些ID扫描到我的DAG中，并使用它们生成可并行运行的upload_transaction任务列表。我的问题是：有没有更习惯性地使用气流做到这一点的正确动态方法？我在这里感到笨拙和脆弱。我如何直接将一个

0热度

1回答

仍然无法与Airflow并行运行所有任务

我的任务设置与this question一样。基于它看起来像依赖的UI进行了明确定义：我已经测试了单独的任务如下：airflow test capone_dash_preproc AAAG5608078M2 2017-07-25。这很好，更新与该用户相对应的目标数据库条目。然而，当我尝试运行完整的任务时，它似乎正在被挂起。 python3 dash_dag.py基本上会导致Web服务器上出现以

0热度

1回答

气流DAG触发

我们最近试图采用Airflow作为我们的“数据工作流程”引擎，尽管我已经将大部分内容弄清楚了，但我仍然处于调度程序如何计算何时触发DAG的灰色地带。在这个简单的DAG请看： from airflow import DAG from datetime import datetime from airflow.operators.bash_operator import BashOperator

0热度

2回答

在Airflow中生成多个任务时反向上游/下游关系

与此问题相关的原始代码可以在here找到。我对两个bitshift运算符都感到困惑，并且set_upstream/set_downstream方法在我在DAG中定义的任务循环内工作。当DAG的主执行回路被配置如下： for uid in dash_workers.get_id_creds(): clear_tables.set_downstream(id_worker(uid))

2热度

2回答

气流快速启动不起作用

嗨我刚开始使用气流，但我无法设法在快速启动运行中完成任务：airflow run example_bash_operator runme_0 2015-01-01。我刚刚用python 2.7.6创建了一个conda环境，并安装了airflow到pip，它安装了airflow==1.8.0。然后我运行这里列出的命令https://airflow.incubator.apache.org/star

0热度

1回答

气流：无法连接到（'0.0.0.0'，8080）

我在Ubuntu 16.04上，我用pip安装了Airflow。下一步 airflow initdb [2017-07-29 12:20:23,483] {__init__.py:57} INFO - Using executor SequentialExecutor DB: sqlite:////home/milenko/airflow/airflow.db [2017-07-29 12:

11热度

2回答

气流Python单元测试？

我想为我们的DAG添加一些单元测试，但找不到任何。是否有DAG的单元测试框架？有一个端到端的测试框架存在，但我想它已经死了：https://issues.apache.org/jira/browse/AIRFLOW-79。请建议，谢谢！

0热度

2回答

为什么气流返回两个不同的DAG列表？

如果我运行命令airflow list_dags它将返回一个DAG列表。但是，该DAG列表与我在DAG选项卡下的Web界面中看到的dag列表不同。 airflow list_dags命令仅返回教程DAG而不返回airflow/dags目录中的DAG。为什么气流给我两个不同的DAG列表？我正在运行Airflow 1.8.1。