Hbase vs Cassandra或任何其他大数据平台的系统监控应用程序

Question

我想为我的服务器制作一个系统监控应用程序，每分钟收集超过30k的数据点，用于各种应用程序，如mysql，memcached，apache等。我想知道哪个平台对于这样的应用程序最有用。我的主要选择是HBase和Cassandra。

如果我必须使用HBase，那么查询的行键应该回答问题，例如特定ip或主机名或运行特定应用程序或特定数据中心或特定集群的所有机器。鉴于所有参数在相当长的一段时间内都是变化的，并且唯一识别特定机器的方式是它的UUID。此外，没有必要基于uuid查询，但它的ip或应用程序类型以及应用程序和进程。

由于查询汇总并向下钻取查询不容易，因此在cassandra中很容易。在设计这样的系统时，我应该有哪些偏好？还有哪些平台可以选择？

请还规定应该是什么设计规范和数据架构这样的系统

Answer 1

我觉得Splunk是你在寻找什么。他们专门用大数据技术收集和分析日志文件。 他们还提供免费版本，这当然是有限的。

如果您想使用开源软件，我建议将您的任务分为两部分：a）存储，b）查询/分析。 “分离”方法的优势在于您可以选择合适的分析系统。

对于a）我建议使用HDFS和日志文件收集器，如Flume或Chuckwa。您也可以使用这些系统进行一些预过滤。

对于b）看看系统，如Hive，Drill或Spark。 我不确定HBase是否是最好的想法，因为您从早期就限制了分析的范围。