使用Pentaho将数据从SQL/Oracle迁移到Cassandra

Question

我想通过使用Pentaho将数据从Oracle/MySQL迁移到Cassandra。有没有人完成这项任务？

我想知道如何迁移数据的完整方式以及迁移数据的先决条件是什么？

Answer 1

这很大程度上取决于计划的数据重组的水平。

如果你的目标只是改变底层DBMS，并可以复制/粘贴表格，您有一个Wizard（菜单Tools）称为Copy Tables（复数），它会提示你输入和输出连接，并创造一切什么（SQL创建脚本，每个表格一个Transformation，一个执行转换集合的作业）。

它不会在你的情况下工作，因为卡桑德拉不是一个SQL数据库。但是，它会给你一个骷髅，你必须用Cassandra output来代替所有的Output table，它可以在插入行之前单击CQL来执行。

但这就是理论。不是因为技术上的问题，而是因为这样的迁移需要更改数据模型，如果您对业务不是很熟悉，那么这种模型很难猜测。

因此，用最少的外键开始迁移表，然后向您的老板/客户询问反馈。然后移至下一个表格，依此类推。总是选择一个没有尚未移动的外键的表格，并进行检查（记录计数）并向用户提出反馈。您很快会被要求更改数据结构。

另请注意，如果Oracle/MySQL数据库正在生产，数据每天都在变化。所以，不要扔掉你的ETL，而是把它们包含在一个单独的Job中，这样你就可以通过简单的点击重新载入新的数据。