2013-01-22 15 views
5

需要什么样的体系结构来存储100 TB数据并通过聚合进行查询?多少个节点?每个节点的磁盘大小?最佳做法是什么?关于Mongo DB的100 TB数据?可能?

每天240GB将被写入,但大小将保持相同,因为相同数量的数据将被删除。

还有关于存储数据和快速组查询的不同想法?

+0

可能重复的[MongoDB限制存储大小?](http://stackoverflow.com/questions/4327723/mongodb-limit-storage-size) –

+0

是的,它是,相关的问题已过时,因为有自那以后,用户群体的情况就变得更大。 – Sammaye

+1

您使用vertica标签对此进行了标记。你还想要一些关于这方面的信息吗? – geoffrobinson

回答

3

我强烈推荐HBase

Facebook uses it for its Messages该服务于2010年11月每天处理150亿条消息。

我们测试了一个大型数据集的MongoDB,但最终与HBase一起进行了数月,现在已经开心地使用它了。

+0

你是如何处理基础设施管理的?我们是一家小型创业公司,没有足够的资源去做100% – noli

+1

对不起,也许我不理解 - 基础设施管理是什么意思?你的意思是管理Hadoop/HBase集群?我们使用Amazon Elastic MapReduce。 – Suman

+0

这是我的问题..谢谢! – noli