不同的卡夫卡主题可以有不同的保留长度吗？

Question

我期待有一个主话题（与日志保留7天）和几个小题目用一个较小的日志保留（2天）过滤语料库。这可能吗？我正在使用Kafka v0.10.1.1。

Answer 1

log.retention.ms，其默认值为7天，是对所有主题的全球水平，而你也可以在创建主题时，如下使用主题级别的配置retention.ms覆盖它：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --topic test 
--partitions 1 --replication-factor 1 --config retention.ms=172800000 

Answer 2

日志。 retention.hours是代理的属性，在创建主题时用作默认值。当您使用kafka-topics.sh更改当前正在运行的主题的配置时，应指定主题级属性。

日志保留时间的主题级属性是retention.ms。

从主题级配置卡夫卡0.10.1文档中：

物业：retention.ms 默认：7天 服务器默认属性：log.retention.minutes 说明：此配置控制的最长时间我们如果我们使用“删除”保留策略，我们将放弃旧日志段以释放空间，然后保留日志。这代表了消费者必须快速阅读数据的SLA。 所以正确的命令是

$ bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic as-access --config retention.ms=172800000 您可以使用以下命令检查配置是否正确应用。

$ bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic as-access 然后你会看到如下。

Topic:as-access PartitionCount:3 ReplicationFactor:3 Configs:retention.ms=172800000