使用logstash轮询日志（ELK）

Question

轮询/存储日志文件我有两难处境。
这种情况是我们需要监控来自Cloudhub的日志，将它们与Logstash聚合并存储（可能使用ElasticSearch）。

Anypoint Runtime Manager似乎只支持将事件推送到第三方系统（不是来自云端），因此我决定通过logstash http-poller插件通过REST API进行轮询日志演示。

我正在处理一些我没有太多经验的决定。
轮询时，您将始终在特定时间间隔内检索最后x个日志。我假设这些参数将取决于日志的类型，但我仍然想知道您将处理重复检索日志的级别。以及如何处理遗漏日志的不确定性。

这是您将在存储级别处理的事情，还是您在logstash时立即处理的事情？
感谢您分享您的想法。

Answer 1

我不能说我在这方面有很多经验，但这是我的想法。

我认为如果Logstash将作为服务运行，它将更多地依赖API的输出来处理重复项。

同时，如果您在响应中定义唯一标识符，则可以告诉Logstash避免重复。

从Change ID in elasticsearch

elasticsearch { 
    host => yourEsHost 
    cluster => "yourCluster" 
    index => "logstash-%{+YYYY.MM.dd}" 
    document_id => "%{someFieldOfMyEvent}" 
}