一个卡夫卡经纪人连接到多个动物园管理员

Question

我是卡夫卡，动物园管理员和风暴的新手。 我的环境我们有一个卡夫卡经纪人连接到多个动物园管理员。生产者将消息发送到一个经纪人的特定主题和分区到多个动物园管理员与多个经纪人到多个动物园管理员有什么优势？

Answer 1

是的。卡夫卡允许您通过添加经纪商进行扩展。当您像一个代理一样使用Kafka集群时，所有分区都驻留在该单​​个代理上。但是，当你有多个经纪人时，Kafka会分割他们之间的分区。所以，经纪人A可能会被选为您的主题的分区1和2的领导者，而经纪人B分区的领导者3。因此，当您向主题发布消息时，客户端将在两个代理的各个分区之间拆分消息。

请注意，我也提到了领导人选举。将代理添加到您的Kafka集群可以为您提供复制。 Kafka使用ZooKeeper为我的例子中提到的每个分区选举一名领导。一旦领导者被选举出来，客户端就在分区之间分割消息，并将每条消息发送给领导以获得适当的分区。根据主题配置，领导者可以同步地将消息复制到备份。所以，在我的例子，如果该主题复制因子是2那么券商A将同步复制的分区1和2消息促成B和经纪人B将同步复制消息分区3经纪人A。

所以，这就是说，添加代理可以提供可扩展性和容错性。