使用Airflow在另一台计算机上安排任务

我成功地在Ubuntu远程服务器上设置了带有Postgres数据库的Airflow，它看起来很棒。使用Airflow在另一台计算机上安排任务

我能够连接到我的数据仓库（一个单独的服务器），并轻松地发出查询作为任务。这很简单，因为安装了Airflow的服务器实际上正在发出查询。

因为我现在只是测试Airflow，所以它安装在一个相当小且功耗低的服务器上。有没有办法让我安排任务在我强壮的Windows桌面上运行？或者利用我的本地机器下载数据/流程文件的最佳方法是什么，Airflow仍然知道任务已成功完成？

2017-03-07 trench

气流设计用于支持工作量分配。如果运行airflow workers来完成Windows机器上的大部分数据处理，那么您可以在小型机器上运行airflow scheduler和airflow webserver时使用它们的计算能力，因为这只是持续触发新任务，检查心跳和更新任务状态。要使此设置生效，您必须使用CeleryExecutor。我发现this blog有用，当我做我的第一次设置

来源

2017-03-07 20:23:47 nehiljain

感谢您的链接。我会用它作为基础。用芹菜，我是选择RabbitMQ还是Redis？我以前没有使用过消息服务。如果这一点很重要，我将全面使用Python 3.6。 – trench

您可以使用Redis。与rabbitmq相比，它很容易设置，但对于健壮的生产系统，您应该仔细评估两者的应用程序。 – nehiljain

使用Airflow在另一台计算机上安排任务

回答

相关问题