2014-08-31 43 views
0

我有一个很大(4列约900,000行)csv文件,我需要转换为SQL,然后显然将其分割成更易于管理的大小,以便我可以导入它。将LARGE csv文件转换为SQL然后分割它?

有谁知道一个程序要做到这一点?很明显,我可以手动完成,但有900,000行需要一段时间,我宁愿自动化。

为了清晰起见,编辑:我在Windows PC上拥有.csv格式的所有数据。我想分割然后本地转换,然后通过phpmyadmin上传到其他地方托管的在线服务器。由于

干杯

+1

哪个操作系统?哪个数据库?你的数据是什么样的? – 2014-08-31 07:19:31

+0

你想用四列填充一个表,还是数据需要进入多个表? – ebo 2014-08-31 07:20:48

+0

我在Windows PC上拥有.csv格式的所有数据。我想分割然后本地转换,然后通过phpmyadmin上传到其他地方托管的在线服务器。谢谢 – Ads 2014-08-31 07:27:29

回答

0

这是我落得这样做:

我下载一个.csv分离器和我的文件分割成每100,000行9个文件。这可能还是有点大,但它的工作。

拆分后,我将它们全部转换为.sql并将它们导入数据库。

显然,随着文件太大,转换和导入需要很长时间,但它工作。

我试图直接从.csv导入,但服务器不会接受它。不完全确定为什么,但嘿 - 我现在将数据存入我的数据库,这就是我真正想要的。

1

我想你会对此落后,因为CSV就是这样一个平凡的格式,你肯定应该以这种形式把它分割,然后担心SQL不是周围的其他方式。

要将其拆分为多个csv文件,只要您可以访问流式API(避免一次读取所有90万行),在任何语言中都很容易,您是否精通任何语言?

(C#/ C++/PowerShell中/别的东西吗?)

是什么操作系统您下运行?你的目标是什么SQL DBMS?如果你使用Windows与SQL服务器,比如说使用MySQL的ubuntu,那么这些解决方案可能会有很大的差异(取决于你的数据库管理系统是否有内置的解决方案)。

+0

谢谢。我将把它导入到MySQL中。我对任何编程语言都不太熟练。我的绝大多数有限技能都在webdev中。谢谢。 – Ads 2014-08-31 07:42:21

+0

正如另一条评论建议,你应该导入使用内置的功能从phpmyadmin导入csv或让我们知道为什么这是不可能的。 – 2014-08-31 08:13:01

0

在未来,您可以使用像SQLizer这样的工具(它不在2014年),其中converts CSV to SQL - 包括大文件。

相关问题