Airbnb Airflow vs Apache Nifi

Question

Airflow和Nifi是否在工作流程上执行相同的工作？每个人的亲/爱是什么？ 我需要阅读一些json文件，向它添加更多的自定义元数据并将其放入要处理的卡夫卡队列中。我能够在Nifi中做到这一点。我仍在研究Airflow。我正在尝试为我的项目 选择最佳的工作流引擎谢谢！

Answer 1

对于气流和Apache NiFi结帐这个reddit的帖子了很好的概述：https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/

对于摄取JSON档案，丰富它们，并将它们路由到卡夫卡的具体使用情况，我相信NiFi对于正确的工具工作。一对夫妇的处理器，你可以潜在地使用，以及文档的每个，低于：

的GetFile：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.GetFile/index.html

JoltTransformJSON：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html

PublishKafka（或PublishKafka_0_10取决于您的版本）：https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html