从大数据量计算统计信息

Question

我在一个拥有大约50万活跃用户的项目上工作。我们跟踪了很多用户交互事件（点击等）。使用这些事件我们需要计算用户行为的统计数据。目前统计信息是在CRON后台任务中计算的。

我们希望统计数据尽可能“在线” - 而不是例如。从0到30分钟不等。我们还想计算更多的统计数据。所以解决方案必须是可扩展的。

我的想法是让队列中的事件被前端应用程序推送，并由守护进程逐步处理事件计算统计信息。守护进程可以根据需要添加，对于不同的统计信息可以有不同的守护进程。你会推荐这种方法吗？

是否有这种数据处理的框架？链接到任何资源将非常有帮助。

Answer 1

Twitter风暴似乎是我正在寻找 - https://github.com/nathanmarz/storm。