巨量SQL Server批量插入的最佳策略插入 - 高频或低频

Question

批量加载N批1 MB数据（高频）或1批X MB数据（低频）是否更好？

对我来说，问题在于解析和处理数据也需要时间，所以似乎并行解析，处理和保持巨大的数据集并不是最好的方法，因为它会导致高频批量插入。

相反，解析&处理应该积累到大批量的X大小，然后派发该批次的（并行）批量插入？

这是正确的吗？如果是这样，X的推荐尺寸是多少？

Answer 1

批量的最佳大小取决于您的硬件，您正在做什么处理以及现有数据量。只有你可以告诉。

智能算法将尝试插入大小N的几批和测量性能，尺寸2*N的那么几批，大小4*N等那么几批直到性能开始下降，并自动解决的最佳批尺寸。

随着数据库的增长，批量的最佳大小也会改变，所以算法应该随着时间自行调整。

如果是一次性任务，请手动对各种批量大小进行少量测试。