Logstash/Elasticsearch/Kibana资源规划

Question

如何规划资源（我怀疑，elasticsearch实例）：

随着负载我的意思是≈500K事件/分钟，每片含8-10场。

什么是我应该转动的配置旋钮？ 我是新来的这个堆栈。

Answer 1

每分钟500,000个事件是每秒8,333个事件，对于一个小型集群（3-5台机器）来说，这应该很容易处理。

问题将随着保持720M每日文档打开60天（43B文档）。如果10个字段中的每个字段都是32个字节，那么磁盘空间为13.8TB（单个副本接近28TB）。

为了便于比较，我在最大（64GB RAM，31GB堆）上有5个节点，其中1.2B文件占用1.2TB磁盘空间（双倍带副本）。这个集群无法处理每台机器只有32GB内存的负载，但现在用64GB很高兴。这是我们10天的数据。

粗略地说，您希望拥有比我的群集消耗的磁盘空间大10倍的文档数量的40倍。

我没有确切的数字在我面前，但是我们的使用doc_values的试点项目给了我们像节省了90％的堆。

如果所有这些数学成立，并且doc_values是那么好，那么只要涉及索引的实际字节，就可以使用类似的集群。我会征求关于拥有这么多单独文件的开销的额外信息。

我们已经做了一些弹性搜索调整，但可能还有很多工作要做。

我建议你从少数64GB机器开始。您可以根据需要添加更多内容。在一些（较小的）客户端节点中作为索引和搜索请求的前端。