打开大型CSV文件？

Question

我有一个文件，我需要导入到MS-SQL数据库，但我无法打开它，因为我的电脑只有4 Gig的RAM ..我通常使用CSV分割器来缩小大文件，但它是不工作的文件（155场演出）

谁能告诉我一个方法来处理这个文件导入到数据库中（除了购买新电脑更好的硬件）

谢谢

Answer 1

在这种情况下，我会建议使用SSIS（如果可能）或更简单的小脚本PowerShell。你可以找到工作脚本here和here。

PowerShell这两个脚本都会遍历几行并在将它们从内存中卸载并取出下一行之前导入它们。在最后一个链接中，您可以指定变量$ batchsize，它将在定义的块中加载数据。

Answer 2

流式CSV分离器会更有效率，因为它处理文件的块（字节），而不是在处理文件之前将整个文件加载到内存中。 node-csv会这样做，但您需要安装node.js才能使用它。

https://github.com/voodootikigod/node-csv

https://nodejs.org/

Answer 3

如果你的文件只是简单的逗号分隔值（不具有有逗号和他们周围，因此双引号列），你也可以使用BCP加载数据。如果文件没有任何特别的内容，使用起来非常简单。

对于更复杂的情况，SSIS可能是更好的解决方案。当导入这么大的东西时，确保你设置了-b选项，以便整个文件不是一个批次，并且取决于你想要使用的文件内容-c（ascii）或-w（unicode）