嗨,我正在使用Airflow并在EC2的后台运行。 但是,您如何停止/检查日志? 我找不到文档的详细说明。如何使用--daemon停止/检查airflow webserver/scheduler的日志?
谢谢!
嗨,我正在使用Airflow并在EC2的后台运行。 但是,您如何停止/检查日志? 我找不到文档的详细说明。如何使用--daemon停止/检查airflow webserver/scheduler的日志?
谢谢!
通过管理界面提供作业/任务日志。我放弃了网络服务器日志。在将日志记录参数(-l
,--stdout
,--stderr
)传递给airflow webserver
命令时,我从未见过任何输出日志记录。
我做捕获调度输出并通过如下方式启动它:所以你kill -TERM $(cat ${AIRFLOW_HOME}/airflow-webserver.pid
停止或使用pkill -f "gunicorn: master [airflow-webserver]"
nohup airflow scheduler >> ${AIRFLOW_HOME}/logs/scheduler.log 2>&1 &
气流Web服务器将创建在AIRFLOW_HOME
文件夹中的PID文件。
即使指定的日志位置设置为/var/log/airflow/
,我也能在/var/log/upstart/
下找到Airflow网络服务器日志。我原本以为webserver进程没有产生任何日志,但事实证明它只是在不同于配置文件中指定的位置。
我也无法让这些标志工作得很好。但是,只有当您在命令行上调用气流时也传递-D时,它们才会起作用。 – jhnclvr
@jhnclvr - 是的,我用-D(尤其是网络服务器)。在气流1.8.0中,这往往会阻塞很长一段时间。重定向仍然无法正常工作。 – saarp
我同意,日志仍然大部分是空的。如果没有-D,我根本无法让他们出现 – jhnclvr