pentaho的复制块如何处理重复数据？

Question

我试图通过Pentaho的复制表向导将我的MySQL数据库复制到HANA数据库。它会自动创建一个工作流程，但如果目标数据库部分填充，我会感到困惑，那么它会处理重复的行还是只是复制它们呢？

Answer 1

复制表向导不分析重复项。它只是试图在目标数据库中运行一堆插入语句。这是您作为ETL开发人员的工作，以确保重复数据被过滤掉，或者在目标数据库上更新。检查插入/更新步骤。性能当然要低得多，因为每一行都将首先执行数据库查找，并根据查找结果发布插入或更新。