卡夫卡消费10节

有使用SimpleConsumer卡夫卡0.8卡夫卡消费10节

的以前版本，您必须跟踪偏移在你的应用程序知道你离开的地方消费的一些缺点。
你必须弄清楚其经纪人是一个主题，分区
你必须处理经纪领导牵头经纪改变

在卡夫卡的最新版本中，我们有一个统一的消费者该调查得到的消息。如何跟踪和处理经纪人/领导者的变化？

来源

2016-08-16 Himalay Majumdar

在新版本中，对于消费者偏移管理，我们有一个名为"__consumer_offsets"的默认主题，而不是依靠zookeeper或在0.8版本中手动管理它。

经纪人领导人变更仍然通过zookeeper处理。请记住，即使在当前版本中，Kafka确实需要zookeeper才能工作。它只是消费者偏移依赖关系已经改变。所以，动物园管理员跟踪经纪人/领导者选举。

另外，作为消费者，您真的不需要担心经纪商领导者的变化。如果您为消费者使用具有高级别API的客户端，则只需指定使用者组ID，使用主题并使用代理列表（少数服务器来标识群集，主题甚至可能不在此处）

来源

2016-08-16 22:57:20

是否意味着在新版本中，我可以对消费者的偏移管理进行细粒度控制，而不必担心领导者变更？在以前的版本中，我不得不担心使用SimpleConsumer进行细粒度偏移量管理时领导者的变化。 –

是的。那是因为您在旧版本中使用SimpleConsumer API而不是高级API。从0.9起，他们统一了API。了解详情： http://kafka.apache.org/documentation.html#consumerapi和 http://docs.confluent.io/2.1.0-alpha1/clients/javadocs/index.html?org /apache/kafka/clients/consumer/KafkaConsumer.html –

卡夫卡消费10节

回答

相关问题