当我使用Flume Agent从Kafka源获取数据并将数据写入HDFS
时,但有些主题效果不佳。 Kafka
的版本是kafka_2.11-0.8.2.1
。所以,我运行命令bin/kafka-topics.sh --zookeeper zk:port/kafka --
描述,结果是关于Flume Kafka源的问题
主题:__ consumer_offsets PartitionCount:50 ReplicationFactor:3个CONFIGS:segment.bytes = 104857600,cleanup.policy =紧凑
主题:__consumer_offsets分区:0负责人:2副本:2,3,1 ISR: 2,3,1主题:__consumer_offsets分区:1负责人:3副本: 3,1,2 ISR:3,1,2
...
主题:__consumer_offsets分区:48负责人:2副本:2,3,1- ISR: 2,3,1-主题:__consumer_offsets分区:49负责人:3副本: 3,1,2 ISR:3,1,2
主题:uniformAuthTopic PartitionCount :3 ReplicationFactor:3 Configs: 主题:uniformAuthTopic分区:0 Leader:3副本:3,2,1 Isr: 3,2,1主题:uniformAuthTopic分区:1负责人:1副本: 1,3,2 Isr :1,3,2主题:uniformAuthTopic分区:2负责人: 2副本:2,1,3 ISR:2,1,3
什么是平均题目:__ consumer_offsets? 嗯,我运行命令bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk:port/kafka --group flume --topic uniformAuthTopic
组主题的Pid偏移
LOGSIZE滞后所有者水槽uniformAuthTopic flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974- e9d501b9-0 水槽uniformAuthTopic 1 14925444
flume_bj-cuadc-XHM-4f03-P7-HS22-client_a-01-1457010084974-e9d501b9-0 水槽uniformAuthTopic 2 21086401
flume_bj-yz302-F11-r720-8-1457492175405-54ad44d1-0
PID 0和PID 1的主人是错的,我不知道为什么主人换。 请原谅我破碎的英语!