2016-03-17 56 views
0

当我使用Flume Agent从Kafka源获取数据并将数据写入HDFS时,但有些主题效果不佳。 Kafka的版本是kafka_2.11-0.8.2.1 。所以,我运行命令bin/kafka-topics.sh --zookeeper zk:port/kafka --描述,结果是关于Flume Kafka源的问题

主题:__ consumer_offsets PartitionCount:50 ReplicationFactor:3个CONFIGS:segment.bytes = 104857600,cleanup.policy =紧凑

主题:__consumer_offsets分区:0负责人:2副本:2,3,1 ISR: 2,3,1主题:__consumer_offsets分区:1负责人:3副本: 3,1,2 ISR:3,1,2

...

主题:__consumer_offsets分区:48负责人:2副本:2,3,1- ISR: 2,3,1-主题:__consumer_offsets分区:49负责人:3副本: 3,1,2 ISR:3,1,2

主题:uniformAuthTopic PartitionCount :3 ReplicationFactor:3 Configs: 主题:uniformAuthTopic分区:0 Leader:3副本:3,2,1 Isr: 3,2,1主题:uniformAuthTopic分区:1负责人:1副本: 1,3,2 Isr :1,3,2主题:uniformAuthTopic分区:2负责人: 2副本:2,1,3 ISR:2,1,3

什么是平均题目:__ consumer_offsets? 嗯,我运行命令bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk:port/kafka --group flume --topic uniformAuthTopic

组主题的Pid偏移
LOGSIZE滞后所有者水槽uniformAuthTopic flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974- e9d501b9-0 水槽uniformAuthTopic 1 14925444
flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0 水槽uniformAuthTopic 2 21086401
flume_bj-yz302-F11-r720-8-1457492175405-54ad44d1-0

PID 0和PID 1的主人是错的,我不知道为什么主人换。 请原谅我破碎的英语!

回答

0

_consumer_offsets是一个用于跟踪消费者偏移提交的特殊主题。这些曾经被保存在Zookeeper中,但现在保留了这个话题。据the docs

当偏移经理收到OffsetCommitRequest,其追加请求到一个特殊的压实卡夫卡主题命名__consumer_offsets。