如何将大量数据导入生产数据库？ （我们正在使用Java）

Question

我们必须从Web服务，平面文件和其他外部源将大量数据导入生产数据库。 我们使用spring批处理来做到这一点。

其中一个主要问题是，其中一些数据是相互关联的，但不会同时导入。 另一个主要问题是有很多数据，所以如果发生问题，我不能真正做出大量的事务并回滚。

我该怎么做？

Answer 1

最好的办法是将数据加载到未在运行的应用程序中使用的“保存”表中。然后在应用程序最不繁忙时查看使用SELECT INTO将数据复制到应用程序表中。

这种方法的优点是

1. 将数据装载到保持工作台对您的申请表
2. 根据您的数据库配置SELECT INTO没有锁定的影响可以用最少的（或没有）来完成写入交易日志使其非常有效

Answer 2

假设您正在执行此操作时数据库不在服务器中：备份数据库，关闭所有约束检查，导入数据，重新打开约束。如果全部失败，那么至少你有备份可以重新使用。