Kafka和Zookeper部署在K8s生产中

Question

有没有人对生产环境的Kafka和ZK配置有任何建议？

我在网上看了一下，有一些环节的压缩，RAM ..等方面报告配置，但没有相关的ZK和卡夫卡的实例数...

我的部署有5个动物园和3卡夫卡实例：

NAME  READY  STATUS    RESTARTS AGE 
kafka-0 0/1  Running    0   12s 
kafka-1 0/1  Running    0   12s 
kafka-2 0/1  Running    0   12s 
zoo-0  0/1  Running    0   12s 
zoo-1  0/1  Running    0   12s 
zoo-2  0/1  Running    0   12s 
zoo-3  0/1  Running    0   12s 
zoo-4  0/1  Running    0   12s 

我得到了什么是最好部署ZK集群（单独），然后指向之一。 Kubernetes上的集群通信如何？

任何帮助或建议表示赞赏 - 感谢

Answer 1

我不是这方面的专家，但将采取先刺。

有一两件事，我不明白是为什么，你有超过饲养员卡夫卡 - >动物园管理员是卡夫卡元数据存储中，这样你就可以用一个饲养员开始，以处理故障，您可以用3名饲养员走了。因此，要拥有一个简单的Kafka Production集群，您可以从3/5个Kafka节点和3个zookeepers开始。

卡夫卡磁盘大小应该取决于您希望拥有的保留。 节点数应该取决于你想要的并行化。

我不知道Kubernetes，所以不知道。但一般来说，动物园管理员应该为每个基础设施设置单独的根文件夹，并且3个动物园管理员应该很好地开始。 （注意：你可能想用固态硬盘尝试zookeeper磁盘，有人说这是好的，有人说没有改善，我建议尝试验证）

要生产，我会更关心监控和制作确保服务不会停止。您可以确保通过执行以下

1. 卡夫卡的预写日志，所以请确保您rendition.bytes和retention.ms在两个群集级和主题级别
2. 监视器适当设置任何滞后，消费特别滞后
3. 领导者分布是平均的，您必须监视它在任何节点重新启动的情况下分布可能会不均匀。
4. 如果您正在处理大量数据，那么请不要担心压缩。