2013-07-04 66 views
0

我需要使用sqlite3和python执行大约2.5亿插入。Sqlite3:插入多行仍然很慢

我已经使用SELECT UNION包装了每500个插入,并且还完成了CREATE INDEX。

但即便如此,后来变得很慢,每小时进行不到1个万元刀片(大约每秒300插入)

有没有什么办法让它任何显著快?

+0

我不明白SELECT UNION与INSERT有什么关系。一般而言,您希望在批量插入后添加索引*。 –

+0

@ muistooshort我以多种方式将多个插入插入到一个事务中,如INSERT INTO myTable SELECT“1”,“test” UNION SELECT“2”,“test” ... – ytrewq

回答

1

这个article很好地解释了sqlite3中快速插入的问题。它来与不同的方法基准。

0

这是好/最好的优化指南我看过的一个: How do I improve the performance of sqlite

最近我花了一些时间的大型数据集的初始负载优化到SQLite和在那里的技巧帮助很大。我建议你阅读一下,没有意义的做我的c/p。