在elasticsearch中存储结构化日志

Question

我们考虑将结构化日志存储在elasticsearch中。这是一个刚接触elasticsearch的人的高层次问题。

我不确定我们是否可以在elasticsearch中索引它们之后删除结构化日志。

我没有看到为什么日志应该保留。他们可以从elasticsearch中重新检索。

只要我们有足够的弹性搜索存储空间，为什么我们应该在弹性搜索之外保留一份日志的副本？

Answer 1

引用文档：

的_source字段是存储被用作索引的文档的实际JSON自动生成的场。它没有索引（可搜索），只是存储。

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-source-field.html

如果你有elasticsearch的备份，如果你不关闭_source场，你可以删除/删除/删除原来的JSON数据。

N年后，您可以自由将旧的东西从elasticsearch移动到不同的存储空间。

答：你不需要在其他地方存储数据。

Answer 2

关于ES结构日志快速注意......我建议看ELK栈：http://www.elasticsearch.org/webinars/elk-stack-devops-environment/

它采用logstash在运输原木的中心，这是一个漂亮的尝试和真正的技术。

要启动并运行速度非常快，您可以使用为您安装ES，logstash和Kibana的Docker镜像（https://registry.hub.docker.com/u/qnib/elk/）。试图找出如何自己做这件事，节省了很多麻烦。

至于保持日志......我只会在一台机器上保留一小段日志（2周？）。使用logstash转发器作为客户端（https://github.com/elasticsearch/logstash-forwarder），它会自动为您转动日志。如果ES停机，您会希望机器上的日志。