为什么在flink中使用kafka

Question

我目前正在使用flink发现流处理的领域。然而，到目前为止，我阅读的大部分专业文章都谈到了flink和kafka。然而，我没有找到一个明确的解释，为什么这个二人似乎很逻辑，并解释卡夫卡所做的，闪光灯不能，反之亦然。

到目前为止，我发现： - 弗林克不能PROCESS_CONTINUOUSLY与readCsvFile和卡夫卡可以在这方面的支持， - 卡夫卡可以做流的聚集，但它似乎有限（不知道）相比，卡夫卡。

所以，请不要犹豫，将您的知识和经验加入到这些系统中。非常感谢你提前。

Answer 1

确实，乍一看，差异并不明显。

Apache Kafka是一种解决方案，可以快速处理实时信息并将其路由到消费者，这意味着它是一个消息中介。

Apache Flink是一个流处理框架。它涉及数据在内存中的分布式计算。

也就是说，基本上，Kafka将具有消息路由器的角色，并且Apache Flink将处理数据。

正如您在下面的示例模式中所看到的，Kafka将允许发布来自异源数据源的消息，Apache Flink将通过应用窗口或减少函数来处理这些数据。

如果你看看卡夫卡的文件，他们引入的新功能对卡夫卡的顶部叫卡夫卡流（这是不是原来的卡夫卡的一部分）。这也是一个流处理框架，它能够像Apache Flink一样处理数据。