大数据分析。 Elasticsearch，Logstash，Kibana，MRTG

所以，我必须想出一个办法，使大量用户数据“可读”的，并想知道如果有人能使用的东西elasticsearch + kibana的方法之间指出的区别与使用诸如MRTG之类的东西。什么更适合于更关注趋势的数据分析？大数据分析。 Elasticsearch，Logstash，Kibana，MRTG

来源

2014-10-22 Juan David Castellanos

您提到的两种方法适用于完全不同类型的数据。如果您的数据包含一系列常规时间戳的度量值（例如来自路由器接口的5分钟流量速率样本或来自温度传感器的1分钟样本），那么MRTG（或更确切地说，是RRDTool，它是后端数据库）非常适合这样做。如果数据不规则，仍然有可能，但是您需要对RRDTool数据库设置进行一些自定义以避免大量“未知”区域。 RRDTool能够对您记录的指标进行趋势分析，但这不是通过MRTG完成的 - 您需要直接调用RRDTool函数。

如果您的数据是文本日志条目（事件）的不规则序列，可能包含可解析的位置数据，并且您在查看单个事件之前更深入了解事件的数量或速率，Logstash/Kibana是要走的路。他们会为您提供一段时间内事件率的图表，但我认为他们不能提供趋势分析。此外，他们不提供嵌入在事件日志文本中的解析数据的图形分析。 Logstash/kibana非常适用于Syslog，Eventlog，应用程序日志（如Apache日志）等，您可以在这里查看一段时间内匹配特定模式的事件的模式。

你没有提供有关数据的实际性质足够的信息，也没有什么样的用户需要“读取”分析的，所以这是一定的能力的高度概括。

来源

2014-10-22 23:15:07

我可以给你举个例子：我有从这个数据一种设备类型，我知道一段时间内有多少次检查和违规（这段时间是我选择的，这取决于我如何汇总数据，是的，这是时间戳）。我想绘制这个图表并解释数据，以便我们可以识别模式以避免大问题（太多违规，没有限制检查）。谢谢你的回答。 – 2014-10-23 11:12:49

如果您有一些时间戳数据（通常为定期间隔），并且自上次采样以来已有违规计数，那么对于使用“ABSOLUTE”数据类型的MRTG/RRDTool来说，这将是最佳选择，这会将其转换为违规/秒，然后您可以总结并随时间变化。但是，如果您已经为每次违规生成了一个日志条目，那么Elasticsearch可能会更合适。 – 2014-10-23 20:45:16

谢谢你的帮助！ – 2014-11-03 14:50:17

Elasticsearch对于存储结构化数据（如文本）非常有效。 Logstash的用例是如何为有效查询构造数据的一个例子。

MRTG/RRD是一种用于测量时间间隔数据的工具。每X时间单位，对数值Y.MRTG/RRD对存储文本无效，它的作业不会触及Elasticsearch的用例。

如果您已经安装并运行了Logstash，Graphite可能是一个考虑工具。 Logstash可以将事件触发到Graphite或Statsd以及将事件数据存储在ElasticSearch中。关于Graphite/Carbon的好处在于它不像MRTG那样与时间间隔相关联。您可以尽可能多地将信息发布到Graphite，或者不常用。

您在其他答案中给出的用例将是Graphite或类似工具的绝佳应用。您可以在Graphite中绘制和报告许多基于值的事件，然后使用Elasticsearch将数据关联回事件。（我的意思并不是说有一个与ES和石墨，只是如果你使用Logstash推事件，时代也就容易寻找整合。）

来源

2014-10-29 05:38:49 Mutant

我想我刚刚意识到你是基于事件查询询问Kibana的绘图能力，不是吗？ – Mutant 2014-10-29 05:41:46

大数据分析。 Elasticsearch，Logstash，Kibana，MRTG

回答

相关问题