将数据从Redshift迁移到BigQuery

Question

我想要将从〜100个表中的1 TB数据迁移到Redshift到BigQuery。

这个数据迁移是否有任何工具？如果像'pgloader'（用于从MySQL迁移到PostgreSQL）可用，它会节省很多时间？

Answer 1

有2点公开来源的选择，我知道在GitHub上：

• https://github.com/iconara/bigshift
• https://github.com/uswitch/bqshift

双方似乎相当良好的维护，而bigshift已经有较长的时间，显示了更完整的文档（现在）。

为什么这样做迁移时的工具是非常有用的报价bigshift文档：

通过红移的Unload产生的CSV不能被加载至BigQuery没有 无论你在两端指定的选项。 Redshift可以引用所有 字段或不引用，但BigQuery不允许引用非字符串字段为 。布尔值和时间戳的格式不兼容，并且 他们希望引用字段中的引号以不同的方式进行转义，以便提供一些名称为 的东西。

这意味着BigShift所做的很多事情是确保从Redshift转储的数据 与BigQuery兼容。要做到这一点 它读取表模式和翻译不同的数据类型，而数据转储 。行情被转义，时间戳格式化，所以 。