很奇怪,我无法在网上轻松找到这些信息,但我无法。所以,我的问题是我有一个卡夫卡话题。我希望两个彼此独立的消费者组消费这个主题的消息。所以,我想要的是两个消费者群体都能够看到并消费彼此独立的所有消息。为了更加清楚,我不想让一个消费者组消费一些消息,并且一些消息被另一个消费组消费;不,我希望2个组消耗消息,就好像另一个组不存在一样。Kafka:多个独立消费者群体可以消费一个主题吗?
1
A
回答
1
是的,多个消费者/消费者组可以独立使用来自主题的消息。每个消费者(或消费者群体)的抵消额分开保存。您可以运行kafka.tools.ConsumerOffsetChecker可以查看任何主题的任何消费群的偏移量如下图所示:
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test --zookeeper localhost:2181 --group testgroup
注意(这抵消),其中消费者开始读取从主题的消息被自动控制.offset.reset配置。如果设置为最小,则新消费者将从主题的开头(最小)开始或从主题的末尾开始(如果这被设置为最大)。
2
是的,单独的消费群体是完全独立的,所以他们都看到所有消息。
资源分区(主题/分区)只发生在组内。
相关问题
- 1. 在Rust消费者中消费多个Kafka主题
- 2. kafka中的多个消费群体
- 3. Apache Kafka消费群体和简单消费者
- 4. 单个生产者到多个消费者(相同的消费者群体)
- 5. Kafka关于消费群体的问题
- 6. 如何在Golang中创建一个kafka消费者群体?
- 7. pipelinedb消费kafka主题
- 8. Kafka消费者控制台订阅多个主题
- 9. spring-cloud-stream-kafka不尊重单个消费者的群体
- 10. 多的消费者从同一主题的消费
- 11. 多个消费群体消费者如何在卡夫卡的同一主题上跨越分区工作?
- 12. 多的消费者在同一消费群
- 13. 生产者 - 消费者多个生产者多个队列单个消费者
- 14. Apache Kafka - iOS消费者
- 15. kafka消费者上的AssertionError
- 16. Apache Kafka:消费者状态
- 17. clj-kafka - 消费者空
- 18. Kafka消费群集环境抵消
- 19. Kafka高级消费者:分区可以有多个线程使用它吗?
- 20. Apache Kafka:如何找出一个话题的消费群?
- 21. Kafka - 同一群组/主题上的多个消费者(只有一个活动人)
- 22. Apache Kafka如何将消息发送给多个消费者组?
- 23. 如何在多个消费者阅读相同的kafka消息
- 24. 永久运行kafka消费者(新消费者API)
- 25. 使用新消费者API删除kafka消费者偏移量
- 26. 制片人 - 消费者Scenerio。我有一个生产者和多个消费者
- 27. BlockingCollection多个消费者
- 28. MassTransit多个消费者
- 29. ActiveMQ一个生产者多消费者
- 30. spring-kafka(未集成)消费者不消费消息
我不确定我是否理解“资源分区(主题/分区)只在组内发生”。每个主题的分区和复制不能改变每个消费者组;这是您创建主题本身时决定的。 – user1888243
我的意思是将分区分配给消费者,因为在一个组中只能将一个消费者分配给一个分区。 –