SSIS数据验证和数据加载

Question

我需要关于以下列出选项的最佳方法的建议。我需要验证的Excel文件中的数据并将其加载到SQL Server

验证包括

• 非重复列本
• 字段在数据库

如果不存在

Mandatoty领域的错误我会在数据库中的错误日志表中写入

下面我我的做法

• 将数据加载到一个临时表在数据库
• 运行验证
• 日志中的错误
• 在成功加载到主表

请让我知道如果您对此方案有其他更好的想法

Answer 1

以下是几种可能的方法：

1. 使用SSIS

创建Excel连接管理器，然后使用数据流任务与OLEDB源，查找变换（以消除不需要的记录），OLEDB目的地 直接进入主表。

您也可以选择重定向或忽略不满足转换的行。

（使用可以使用批量插入任务如果Excel是真正大而不是处理的RBAR）

2.使用TS​​QL

BULK INSERT或BCP或使用OPENROWSET成登台表。请注意，您需要安装适当的驱动程序（JET for x32或ACE for x64 SQL Server）。

然后在加载到主表之前通过记录到错误表（raiseerror，try-catch）来执行错误处理。