Kafka重置工具消费者偏移不重置为零

Question

我想了解一些基本的Kafka概念，以便我可以正确监视基于KafkaStreams的应用程序的进度。

专门用于调试目的，我需要能够让我的应用程序重新使用整个主题。为此我使用了reset tool。

在执行脚本查看一些输入主题的卡夫卡管理器后，我看到Consumer Offset已经减少，而Lag已经增加（这是有道理的）。虽然Consumer Offset不会为零。我试图解释这一点，但我还没有找到关于卡夫卡经理中的Consumer Offset和Logsize是指什么的具体解释。

为了使它适合我所看到的，我假设Logsize是自开始以来放置到主题中的消息总量，但不一定是当前在主题中的消息量。有些人可能因年龄超过保留期而被抛弃。我对吗？

如果不是，那么在运行某些输入主题的重置工具后，我观察到Consumer Offset等于Logsize（而不是零）并且Lag为零？

Answer 1

我对yahoo-kafka-manager不熟悉，但是，您也可以使用bin/kafka-consumer-groups.sh（Kafka自带的工具）。有LOG-END-OFFSET意味着你所描述的。从命名的角度来看，如果Logsize与“日志结束偏移量”相同或者分区中最高和最低偏移量之间的差异，我不清楚。

在执行脚本查看Kafka管理器中的一些输入主题后，我发现Consumer Offset已经减少并且延迟增加。

这很有道理 - 因为“滞后”是“日志结束偏移量”和“承诺偏移量”的差异，所以在重置应用程序之后，滞后量应该增加。 但是，我不确定为什么承诺的消费者群体抵消不是零（你可以非常使用 bin/kafka-consumer-group.sh - 也许 yahoo-kafka-manager报告不同的东西）。

更新：但是，该工具不会将偏移量设置为零，而是设置为“开始日志”。 （该文档是不正确的。）

另外请注意，您重置您的应用程序，然后重新启动后auto.offset.reset策略可能在打勾（[承诺]偏移 零 可能是无效的，如果日志截断了）。这能解释你观察到的行为吗？

本博客文章也可能有助于了解进一步的细节：https://www.confluent.io/blog/data-reprocessing-with-kafka-streams-resetting-a-streams-application/