airflow

0热度

1回答

我想开始我的气流的网络服务器，但它说，它是无法识别的参数 $ airflow webserver [2017-05-25 15:06:44,682] {__init__.py:36} INFO - Using executor CeleryExecutor ____________ _____________ ____ |__()_________ __/__ /________

0热度

1回答

如何手动在特定目录

我评估气流是否适合我的需求（生物信息学）运行气流DAG。我在Airflow模型中遇到了一些困难。具体如下： DAG文件在哪里实际执行？它的背景是什么？如何将输入数据传递到DAG定义文件？（例如，我想OT创建目录中的每个文件的任务。）如何在特设的基础上执行DAG？如何传递DAG构造的参数？这里是我想执行什么样的例子。假设我刚收到一些数据作为包含20个文件的目录，这些文件在某些共享文件系统中

0热度

1回答

如何阻止预定的空气流量dag

我意外地安排了一个简单的DAG作业，每5分钟运行一次。我输入下面的命令： airflow backfill jobs -s 2017-05-01 -e 2017-06-07 我可以看到气流的Webserver GUI，它推出了许多回填作业。我试图将正在运行的作业标记为“成功”，但它返回错误。我想每天运行而不是每5分钟运行一次。我该如何阻止错误的工作？

0热度

1回答

作业启动时，气流不会发送电子邮件吗？

我建立了如下的dags。我推出了这个DAG airflow backfill jobs -s 2017-05-01 -e 2017-06-07 尽管工作成功，但我没有收到任何电子邮件。我想要做其他事情来接收邮件吗？或者我应该以不同的方式运行dag？ DAG如下： default_args = { 'owner': 'me', 'depends_on_past': Fal

1热度

2回答

Cron选项卡安排在不同日期的不同时间

我需要安排在星期四下午7点和星期五的工作，我需要安排在晚上11点。我使用的气流和需要像 0 19 * *周一至周四任何建议，欢迎cron的标签符号。谢谢问候， CJ

0热度

1回答

气流不满足任务依赖关系

我有一个简单的气流工作流程，由两个任务组成。其中一个会下载包含库存数据的csv文件。另一个提取最大股价并将数据写入另一个文件。如果我运行第一个任务，然后第二个一切工作正常，而不是如果执行：airflow运行stocks_d get_max_share它无法满足依赖项。 import csv from datetime import datetime from datetime import

6热度

1回答

气流 - SubDag中长时间运行的任务在一小时后标记为失败

我有一个长时间运行的步骤（通常大约2小时，但它根据运行的单元而变化）的气流中的SubDAG。在1.7.1.3下，这一步将始终导致AIRFLOW-736，并且当所有步骤都成功时，SubDAG将在'运行'状态中停顿。我们可以解决这个问题，因为我们没有在SubDAG之后执行步骤，只需在数据库中手动将SubDagOperator标记为成功（而不是运行）即可。下张树庭我们的调度和工人通过画中画，卸载气流

1热度

1回答

气流 - 是否可以使用回填命令一次（按顺序）运行一天？

基本上，我想运行一个月的回填命令。但是有一些任务取决于前一天的数据。据我所知，这个命令每天都在同一时间运行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有没有办法使回填命令一次运行一天（按顺序）？干杯。

3热度

1回答

用于感测本地驱动器上的文件的气流文件传感器

有没有人对FileSensor有任何想法？我在研究本地目录中的感应文件时遇到了这个问题。代码如下： task= FileSensor( task_id="senseFile" filepath="etc/hosts", fs_conn_id='fs_local', _hook=self.hook, dag=self.dag,) 我也把我的conn

2热度

3回答

气流取消暂停DAG编程？

我有，我们将部署到多个不同的气流情况，并在我们的airflow.cfg我们dags_are_paused_at_creation = True但对于这个特定的DAG我们希望它被打开，而无需通过点击UI人工手动做一个DAG。有没有办法做到这一点编程？