Kafka集群部署配置的最佳实践？

Question

我要求一般的最佳实践在这里：

如果我想要一个五个节点集群，做所有五个节点上运行汇合平台伞包，其中包括动物园管理员，卡夫卡，模式的注册表？

是否曾建议在独立服务器上运行zookeper集群与Kafka集群？

如果我想运行Kafka Connect分布式工作器，我可以在所有集群节点上运行它吗？我是否想要在不同的服务器上运行？ Docker是为此推荐还是Docker是不必要的？

使用Kafka Streaming应用程序，它们是否应该在所有群集节点上运行？他们应该码头吗？他们是否应该在单独的节点上运行？

有点像Mesos推荐？

Answer 1

这是在专用服务器（或虚拟服务器）上运行Kafka Brokers的最佳实践。 Zookeeper也是如此。

Confluent Platform的所有其他组件都可以在共同的服务器上或在不同的机器上运行。

您通常只运行一个模式注册表（或两个，如果您想容错）。他们可以在任何可以连接到卡夫卡经纪商的机器上运行。

Kafka Connect分布式工作人员只需要在要托管Kafka连接器的机器上运行。他们只需要能够连接到卡夫卡经纪人。

卡夫卡流应用程序可以运行在任何你想要的地方，只要他们可以连接回卡夫卡经纪人。

所有组件都可以在Docker容器中运行，也可以在没有Docker的情况下运行。

您可以使用您想要的任何微服务或数据中心资源管理工具（或根本没有） - 这是您的选择。