2014-07-16 103 views
0

我插入了大量数据,例如1百万份文件。我应该如何插入它们?小测试后,我有不同的时间结果插入500和1000大小(批量)的数组中的所有数据。在我的使用情况下,500更快。我应该使用哪种缓冲区大小?有什么建议么?MongoDB巨大的批量插入性能

+0

AFAIK没有一个确切的公式。这里玩的变量太多了。你可以使用一个很好的折衷值(在不同的机器上测试之后)或一个自适应值(第一块500,第二1000,第三2000)的时序性能,并使用该值进行后续调用(甚至可能将其存储在配置中)。 –

+0

我观察到Javascript的行为,同时向mongodb批量添加文档。不是说它**是正确的答案,但JavaScript代码可能每次尝试增加200个文档。 – displayName

回答

1

对于像你所说的那样的批量插入,最好使用适当命名的mongoimport command line tool

的mongoimport工具提供了从JSON,CSV或TSV出口由mongoexport,或潜在的,其他第三方导出工具创建的内容导入的路线......