删除SSIS数据流中的重复项

Question

我正在处理SSIS数据流任务。

源表是从该非规范化旧的数据库。

目标表标准化。因为数据传送是因为重复（在主键列一式两份）的不可能

SSIS失败。

这将是一件好事，如果SSIS能检查当前记录的可用性目标（通过检查键），如果它存在，它也可以忽略推动它。然后它可以继续下一个记录。

有没有办法来处理这种情况？

Answer 1

假设您的目标表是源表的一个子集，您应该可以使用Sort Transformation来仅引用目标表所需的列，然后选中“删除具有重复排序值的行”以基本上根据您选择的列向您提供不同的记录列表。

然后，简单地将排序到目的地的结果，你应该是好去。