我有一个很大的XML文件,大约800 MB,带有许多标签和属性。我需要从这个文件中提取不同的值,因此我使用了许多SORT
和JOIN
转换。所有这些工作都很好,不需要太多时间,除了下面图片中显示为红色椭圆形的最后一个SORT
转换。这需要永远。SORT转换需要永久
如果我使用一个较小的XML
文件,它会走通,并不会花费太多时间。所以我认为问题与它处理的数据集的大小有关。我想知道你是否知道可以帮助我处理这种情况的任何方式。任何需要更改的属性以改进此特定情况的性能。我正在使用Visual Studio 2015.谢谢!
您是否考虑编写SQL查询并使用Exec SQL步骤更新状态值,而不是执行查找和合并?此外,所有的来源XML?如果是这样,你可能想要在某个时候转换成真正的表格。这将会提高性能。 –
@JacobH请纠正我,如果我没有得到你的建议,但我不是“更新”,我没有“查找”。我只是查询一个状态表的小型表,根据状态ID加入状态名称。我看不到我如何在这里使用Exec SQL任务。 – TheEsnSiavashi
如果你不查找数据,为什么你有一个叫做“LKP”的步骤? :)我的问题代表。除了您从各种数据源进行大量合并和排序之外,您还没有给我们提供任何信息,其中一个比其他数据源慢。 –