Scriptella在写入CSV文件之前是否将所有记录读入内存

Question

Scriptella（1.0版本）在开始写入CSV文件之前是否将所有记录读入内存，如果我们使用的是CSVDriver。如果我从数据库读取1000万条记录，那么它在开始写入文件之前会读取所有这1000万条记录，或者它是否读取批处理模式？

在此先感谢。

Answer 1

简短的回答是没有。 Scriptella尽可能避免将数据保存在内存中。

在一个基本的非优化案例中，它逐个读取记录并将它们发送到另一个数据源。除此之外，根据驱动程序和/或其他设置，可以添加某些优化。 Batching可以启用，以便批量提取和发送记录。取决于数据库和可用内存批次可以从100到10000（或更多）记录。在这种情况下，只有一批保存在内存中。请注意，Scriptella 1.1提供批处理。