水壶转换中的所有步骤都是并行运行

Question

我对水壶真的很陌生。当我在我的转换中使用“设置变量”步骤时，我读到了这一点。 “水壶改造中的所有步骤都是平行的”。我想知道如何做到这一点。

例如，我有一个只有两个步骤的转换，A从csv文件读取数据，B将这些数据写入xml文件。如果这两个步骤并行运行，在读取数据之前B如何将数据写入xml？

任何答案将不胜感激。

Answer 1

这正是它所说的。转换开始时，所有步骤都将同时开始。然后他们有一个输入“缓冲区”或通常是50k行的行集。

所以;当第一步读取第一个50k行时，它们将填充缓冲区，然后下一步将开始处理这些行，同时第一步仍在读取。

等等等等上下行..

在您的例子，当第一50K行从CSV阅读，这将开始虽然它的那些行写XML仍然在读的下一个50K 。

这就是为什么设置变量必须在以前的转换中使用并与作业绑定在一起。

性能调整pdi作业的关键之一是确定链中哪一步最慢。谢天谢地，性能指标让这件事变得非常简单！

此外，如果您想要，还可以运行多个步骤副本，例如，用于写入数据库的步骤等。