SSIS数据流如何删除重复行但在SSIS中记录重复项

Question

我从Remove duplicates in SSIS Data Flow了解到如何使用Sort转换来删除具有重复数据值的行。

在我的情况下，我正在读取分隔文件，需要消除重复项，并记录具有重复键的行。我需要将这些行输出到另一个分隔文件，并将其发回给客户，以便他们可以更正数据并重试。

虽然我不能完全弄清楚如何做到这一点。我将试验Aggregate和Merge Join，但我希望这样做有一个已知的模式。

Answer 1

您好我的答案会与任何数据，因为在互联网上的一些解决方案需要行的主键，为我的解决方案主键不是必需的。 这里样本结构和样本数据集：

a b 
1 23 
1 23 
16 59 
12 12 
13 45 
12 12 
45 56 

刚组的所有列，并添加最后一列 - 算上所有的（如果有两个以上的列以上，你只需要在“聚合”元素把所有列和foreach设置组通过，并在年底建成“计算所有”栏）：

然后，只需添加条件分割元件，并采取在哪里月的所有行重超过1个相同行：

实例：

Answer 2

它可能通过脚本。

首先，您会use a script to iterate through the dataset并以编程方式标识重复项。 Then you could write entries to the log file for the dupes that you find。

Answer 3

我go through a few options on my blog以从数据流中删除重复记录，以a little footnote here关于如何“保存”用于交替重复的行处理。