airflow

0热度

4回答

在Airflow Web界面中，我可以查看DAG的列表。如果点击其中一个DAG，我可以看到DAG的不同视图或DAG的代码，并且在详细信息选项卡中，我可以看到DAG文件的名称，但不能显示路径。我也试过airflow list-dags但这并没有提供我正在寻找的信息。有一个DAG，我可以在Web界面中看到，但我无法找到它在文件系统中的位置。是否有方法从Airflow Web界面或Airflow

0热度

1回答

使用气流JDBC连接连接到Teradata

我试图在连接到Teradata数据库的Airflow中执行SqlSensor任务。将连接配置如下：我已经提供通过分离特定的2条驱动程序路径“”但我不知道这是否是这样做的正确方法？ /home/airflow/java_sample/tdgssconfig.jar /home/airflow/java_sample/terajdbc4.jar 当DAG执行时，它会触发错误消息 [2017-08-0

2热度

1回答

在不同的Docker容器中运行芹菜工人的气流设置？

我正在码头集装箱中运行气流。我创建了一个单独的容器来运行Postgres服务器和Rabbitmq服务器，使用docker网络连接这些容器 - 通过遵循这个不错的article。现在我的气流码头集装箱正在运行，并使用码头网络连接到其他集装箱 - 迄今为止流程非常流畅。问题是如何在同一个容器中运行airflow webserver，airflow scheduler和airflow worker。经过

3热度

1回答

气流运行从UI，KeyError异常任务：没有这样的运输

与芹菜气流CFG设置为： broker_url = 'amqp://guest:[email protected]_server:8080' celery_result_backend = db+postgresql://developer:[email protected]_server:5432/db_name 的airflow webserver运行正常，但在运行从气流UI任务我得到

4热度

2回答

运行气流工作者给出错误：地址已在使用

我正在使用CeleryExecutor运行气流。我能够运行命令airflow webserver和airflow scheduler，但试图运行airflow worker给出错误：socket.error：[Errno 98]地址已在使用。回溯：

0热度

1回答

Airflow Scheduler给出错误KeyError：'getpwuid（）：uid not found

运行docker容器后，使用特定用户标识为空气流构建本地图像，然后调度程序投诉超出主题错误。 File "/usr/lib64/python3.5/getpass.py", line 170, in getuser return pwd.getpwuid(os.getuid())[0] KeyError: 'getpwuid(): uid not found: 1000' 任何人都

0热度

1回答

不管下游发生什么，气流任务都会运行

我在一个DAG中有三个任务。任务A先运行。如果任务A成功，则任务B运行。我有任务C在任务B后运行，但它不依赖任务B或任务A成功或失败。任务C需要不管发生在任务A和B上的情况如何。但是，它需要在任务A和B完成之后运行。有什么想法？

7热度

3回答

气流：日志文件不是本地的，不支持远程日志位置

我没能看到连接到从气流中UI的任务日志：在airflow.cfg文件登录相关的设置： remote_base_log_folder = base_log_folder = /home/my_projects/ksaprice_project/airflow/logs worker_log_server_port = 8793 child_process_log_directory = /home

5热度

1回答

气流工人不听默认我已经配置了RabbitMQ的经纪人，服务气流的RabbitMQ队列

： airflow worker airflow scheduler airflow webserver 都没有任何错误运行。调度正在推动的任务就default RabbitMQ的执行队列：即使我尝试airflow worker -q=default - 工人仍没有收到运行的任务。我airflow.cfg设置文件： [core] # The home folder for airflo

0热度

1回答

部署如何与Airflow协同工作？

我正在使用芹菜执行器和此dockerfile的设置。我正在将我的dag部署到/usr/local/airflow/dags目录到调度程序的容器中。我能够用命令来运行我的DAG： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e 2016-02-01 我DAG包含一个简单的bash操作： Bas