处理HDFS数据的Kafka使用者应该在哪里运行？

Question

我是Hadoop和Kafka的新手。我为在桌面Windows机器上运行的Kafka使用者继承了代码，接收远程集群上可用的新XML数据的HDFS位置，下载数据进行处理，并将结果写回到HDFS集群。

在我看来，消费者应在集群上运行，因为这其中的数据，但所有样品卡夫卡消费者的代码，我看到提示，生产者/消费者对普通台式机上运行。卡夫卡消费者的典型目标平台是什么？

Answer 1

生产者和消费者可以在任何地方运行。您看到的示例暗示了桌面执行，因为该代码比在Storm拓扑中运行的代码简单得多，并且示例往往过于简单。桌面环境的唯一原因是应用程序的UI存在。

如果应用程序是无头的，那么这确实让很多道理移动执行尽可能靠近数据（卡夫卡和HDFS）成为可能。