2011-06-21 46 views
3

为Web应用程序构建概念分析仪表板功能证明,允许用户查看谁访问了他们的个人资料并查看他们拥有的内容发布。想想.me风格的仪表板。高效处理大数据的技术(读,写,查询,聚合)

当用户在应用程序中执行相关操作时,正在将数据点(主题,动词,对象,时间戳元组格式)写入MySQL表(快速接近一百万条记录)。这种写法使用cURL + cron job +消息队列机制发生不同步。

不确定如何继续在分析仪表板上进行实际归类,汇总和呈现这些数据,这种方式不会占用我服务器上太多的资源。

寻找提示,战争故事和技术,这将简化我的生活与这些东西。

回答

1

为什么不直接从select查询开始,看看它是如何执行的?
如果当您遇到缓慢,你随时可以:

  • 调整您的查询,使用内存表,发挥创意与触发器,黑洞表和诸如此类的东西。
  • 安装从服务器并从从服务器进行选择。
  • 安装一个黑洞主机和附加多个奴隶到

我建议您阅读高性能的MySQL:http://oreilly.com/catalog/9780596003067

+0

你是对的 - 否则可能会冒险引进新的和潜在的基础设施负担的东西它可能不成问题。找出我过早优化的方法;) – ubermensch