增加卡夫卡话题数量导致动物园管理员失败

我们计划将卡夫卡用作物联网用例的消息代理，其中每个设备都被视为唯一主题。当我每秒模拟10条消息到10000个话题时，zookeeper正在变得瓶颈，因此所有Kafka监控工具都无法从JMX端口读取吞吐量值和主题数量。将优化动物园管理员将解决问题。在物联网用例中，将有数百万设备轮询数据到数百万个主题。我想确保这个方法是完美的。请建议。增加卡夫卡话题数量导致动物园管理员失败

来源

2016-05-16 Anas A

这应该是可以的。但很难给出一个普遍的答案;你的问题是广泛而复杂的。我只是想知道，为什么你想要为每个设备设置一个主题 - 在一个主题内使用不同的分区可能会更好...... –

@ MatthiasJ.Sax我只有一个主题需要多个设备。有没有可能这样做，或者我应该在一个主题内尝试不同的分区？我不知道该怎么做。 – devd

最简单的方法是，用X分区创建主题，并在向主题写入数据时将唯一设备ID设置为键。这将确保通过基于密钥的散列分区自动将来自单个传感器的所有数据写入同一分区。 –

您的权利即使理论上您可以拥有数百万个Kakfa主题，但Kafka中的主题数量为bound by Zookeeper，您无法拥有数百万个主题。为每个设备创建主题/分区不是可扩展的解决方案。

是否有一个原因，你需要数百万的话题？

来源

2016-05-17 12:05:49

增加卡夫卡话题数量导致动物园管理员失败

回答

相关问题