在不同的服务器上运行Kafka和Kafka连接？

Question

我想知道卡夫卡和卡夫卡连接是否可以在不同的服务器上运行？因此，服务器A上将启动连接器，并将服务器B上的kafka主题的数据发送到HDFS或S3等。谢谢

Answer 1

是的，您可以这样做。

我有我的一套kafka服务器和kafka连接应用程序在不同的机器上运行并在hdfs中写入数据。就不得不提到就不得不提到经纪人的名单bootstrap.servers下工人属性文件（配置/ connect-distributed.properties或配置/ connect-standalone.properties），而不是本地主机：9092

Answer 2

是而对于生产部署，通常建议出于资源原因。一般情况下，您需要部署一个Kafka Brokers集群（3+以上用于HA），然后部署一个Kafka集群工作者集群（吞吐量/弹性所需的集群数量） - 所有集群都在不同的节点上。请参考Confluent Enterprise Reference Architecture。