Pentaho勺微软访问输出性能

2013-07-02 54 views 0 likes

我想用“Microsoft Access输出”步骤填充数据库表（访问），但我得到非常差的性能。我的意思是我的数据是从2 xmls读取的，并在1分钟内合并（36000行数据），访问输出现在以12 r/s的速度运行1小时。我将Commit大小设置得足够高，以便一次提交所有ma数据（Commint大小为500，第10次提交后我得到了一些java错误）。Pentaho勺微软访问输出性能

如果我在csv中编写我的文件并将其导入到访问中，那会更快，但我希望尽可能自动化进程。欢迎任何建议，以获得更好的表现。

来源

2013-07-02 Biroka

回答

我从来没有与MS-Access输出步骤的好运。如果为Access数据库创建ODBC条目并使用常规的“表格输出”步骤加载它，它似乎工作得更好。

此外，您可能会检查您是否拥有最新版本的Jackcess驱动程序。

编辑：另外，为了自动化数据流，例如写入CSV然后加载它，您可以使用作业。如果您只熟悉变换，请查看有关ETL作业的文档。

来源

2013-07-02 16:38:41

我不知道如果pentaho暴露这样的选项，但jackcess默认“自动刷新”数据到db文件。禁用自动刷新可以大大加快批量操作。 – jtahlborn

我看不出用MS-Access输出步骤做到这一点。我从来没有尝试过使用Jackcess配置一个通用连接，所以我不知道这是否可以完成，但如果可以，并且可以将选项传递给连接字符串上的驱动程序，那可能会起作用。 –

Pentaho勺微软访问输出性能

回答

相关问题