airflow

0热度

1回答

systemd的气流：`airflow.pid` vs`airflow-monitor.pid`

我的systemd单元文件正在工作（下图）。但是，airflow-monitor.pid文件暂时变为只读，这有时会阻止气流启动。我们的解决方法是删除airflowmonitor.pid，如果发生这种情况。这与airflow.pid文件不同。它看起来像airflow.pid是gunicorn和airflow-monitor.pid是一个python进程作为airflow webserver。 s

-1热度

1回答

气流：获取用户使用ldap登录

有谁知道我能从气流中获取当前用户吗？我们将后端启用为airflow/contrib/auth/backends/ldap_auth.py，因此用户通过该身份验证登录，我想知道如何获取当前点击某个内容的用户（我们作为插件的自定义视图）。

2热度

1回答

如何在气流中使用--conf选项

我试图运行气流DAG并需要传递任务的一些参数。如何在python DAG文件中读取命令行trigger_dag命令中作为--conf参数传递的JSON字符串。 ex：airflow trigger_dag 'dag_name' -r 'run_id' --conf '{"key":"value"}'

-1热度

1回答

安排Spark Streaming作业

我有一个Spark Streaming作业，它使用spark-submit脚本手动运行。我想安排它每天运行。哪一个更好Azkaban，Airflow，Oozie，Crontab，Spark-jobserver，Quartz或Luigi。任何建议表示赞赏！

2热度

3回答

气流 - 如何将xcom变量传递给Python函数

我需要引用由BashOperator返回的变量。我可能做错了，请原谅我。在我的task_archive_s3_file中，我需要从get_s3_file获取文件名。该任务仅将{{ ti.xcom_pull(task_ids=submit_file_to_spark) }}作为字符串打印而不是值。如果我使用bash_command，则打印值正确。 get_s3_file = PythonOpera

0热度

1回答

Airflow DataProcPySparkOperator不考虑全球区域以外的集群

我正在使用DataProcPySparkOperator执行一些操作。此运算符仅将集群名称作为参数，不存在指定区域的选项，默认情况下它将集群视为全局区域。对于不是全球其他地区集群，出现以下错误： googleapiclient.errors.HttpError: https://dataproc.googleapis.com/v1/projects//regions/global/jobs:su

0热度

1回答

Apache Airflow多租户

我试图找出Airflow如何在多租户环境中工作。具体来说，要求应该如下所示： TeamA和TeamB两个团队正在使用单个Airflow实例。团队的A和B每个都有自己的服务用户帐户：serviceUserA和ServiceUserB他们应该运行他们的工作。出于安全原因，团队A不应该能够创建在ServiceUserB下运行的作业，反之亦然。在这一点上我不清楚需求3）是否可以用Airflow来满足

1热度

2回答

如何将参数从pythonoperator任务传递到airflow中的simplehttpoperator任务dag？

我想触发simplehttpoperator，像这样：气流trigger_dag test_trigger --conf '{ “名”： “东西”}' 然后我用pythonoperator python_callable使用kwargs [ 'dag_run' 接受的参数] .conf，我想将['dag_run']。conf传递给simplehttpoperator，我该怎么做？任何人都可以帮忙

1热度

1回答

每X分钟运行一次气流DAG

我在使用LocalScheduler选项的EC2实例上使用气流。我已经调用airflow scheduler和airflow webserver，一切似乎都运行良好。也就是说，在将cron字符串提供给schedule_interval用于“每10分钟执行一次”'*/10 * * * *'后，该作业默认每24小时继续执行一次。下面的代码头： from datetime import datetime

2热度

1回答

由于执行日期和开始日期，无法运行气流任务

每当我尝试运行DAG时，它都将处于运行状态，但任务不会运行。我已将datetime.today（）的开始日期和我的日程安排间隔设置为“* * * * *”。手动触发运行会启动日历，但由于以下原因，任务将不会运行：执行日期为2017-09-13T00：00：00，但是这在任务的开始日期之前2017-09-13T16：20： 30.363268。我已经尝试了计划间隔（如每天的特定时间）以及等待被触