将下载的日志文件重播到ELK服务器

我们的已部署系统收集“常规”普通旧log4j日志文件。由于它是一个分布式系统，其中有5-10个。当出现问题时，可以将日志文件作为zip文件获取。将下载的日志文件重播到ELK服务器

我发现this docker ELK image这很好用。不过，这对我来说是新的，所有示例都会使用诸如filebeat之类的内容来将日志信息播放到ElasticSearch。我想知道是否存在一种方法来将现有的一组日志文件“重放”到这种ELK容器实例中？或者这是我需要建立的东西？

来源

2017-09-28 JoeG

通过回放你的意思是插入日志中ELK或其他什么东西？ –

是的，就是这样。部署的系统不会（至少在初始阶段）拥有ELK服务器，但会收集一组可以获取的日志文件。 – JoeG

我不确定为什么你不想使用filebeat，因为它能够优雅地处理网络中断并保证日志传送。我会使用filebeat，即使它只是一个本地安装（与ELK相同的域），如果您不想在每个日志中安装filebeat，我只需从系统（使用rsync或手动）将收集的日志提供给它源服务器发送到您的主要logstash实例。

在另一方面有您可以使用直读一个很基本的logstash文件输入插件：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-file.html

来源

2017-10-05 23:05:44 highstakes

我没有接受或给这个答案的赏金的原因是因为我相信我说明了为什么我不能使用filebeat并且它不是本地安装！但是，如果我从一位客户那里收到一组日志文件，并且您说可以使用filebeat将这些日志文件“重放”到ELK中，那么这将是一个答案，但我需要知道如何做到这一点！ – JoeG

你没有解释为什么你不想使用filebeat ...它可以读取匹配模式的日志文件，所以如果你的新文件遵守它们将被解析的规则。如果文件是手动创建或自动创建的，只需确保在文件名中添加时间戳即可轻松区分它们（https://www.elastic.co/guide/en/beats/filebeat/current/how-filebeat -works.html）。另外我给了你第二个选项，它不是filebeat，而是直接日志解析。 – highstakes

将下载的日志文件重播到ELK服务器

回答

相关问题