如何处理mongoDB中的数据4TB

Question

我试图使用脚本在mongoDB中插入数据，但数据大小变为4TB。如果我开始使用分片，合并和分割过程会变得更重。我的分片键是从objectID生成的时间戳。

如果我正确地做事情，请发表评论。

Answer 1

这是在分片键中使用monotonically-increasing field（例如时间戳或ObjectId）的缺点。所有数据最初都会写入一个碎片（最后一个碎片），平衡器必须非常努力地分割碎片并将数据迁移到其他碎片。

有两种解决方法给你：

1. 更改使用hashed sharding，而不是传统的分片不等;这将更均匀地将插入物分布在不同的碎片上。
2. 设计一个不同的分片键。