2017-04-25 208 views
0

我的应用程序数据库在AWS RDS(postgresql)中运行。我需要将数据从AWS迁移到Azure SQL数据仓库。从AWS RDS到Azure SQL数据仓库的数据迁移

这是一种ETL过程,我需要对来自Postgresql的数据进行一些计算/计算/聚合,并将其置于Azure SQL数据仓库中的不同模式中以用于报告目的。 另外,我需要定期同步数据而不重复。

我对这个数据迁移概念不熟悉,请让我知道什么是实现此任务的最佳方式?

谢谢!

回答

0

Azure datafactory是您的选择。这是一个云数据集成服务,将数据存储,移动和处理服务组合到自动数据管道中。

请在下面找到Postgresql连接器。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-postgresql-connector

在你可能不得不把一些自定义的中间步骤做数据按摩变换的一部分。

+0

此连接器适用于本地?在我的情况下它会支持连接到AWS DB吗? – ganesh

+0

是的。但我相信只要您提供连接详细信息,它就会工作。 – Aravind

0

您是否试过Azure datafactory建议? 它解决了你的问题吗?

如果不是,您可以尝试使用Alooma。该解决方案可以近乎实时地将托管在Amazon RDS上的PostgreSQL数据库复制到Azure SQL数据仓库。 (https://www.alooma.com/integrations/postgresql/

按照此步骤从RDS迁移到Azure的SQL:

验证您的主机配置

  1. 在根据参数组的RDS仪表盘,导航至与相关的组你的实例。

  2. 验证hot_standby和hot_standby_feedback被设置为1

  3. 验证max_standby_archive_delay和max_standby_streaming_delay是大于0(我们建议30000)。

  4. 如果需要更改任何参数值,请单击编辑参数。

连接到Alooma

  1. 您可以通过SSH服务器(https://support.alooma.com/hc/en-us/articles/214021869-Connecting-to-an-input-via-SSH)连接,或者到白名单访问Alooma的IP地址。

52.35.19.31/32

52.88.52.130/32

52.26.47.1/32

52.24.172。32分之83

  • 添加和名字从水暖屏幕您PostreSQL输入并输入以下细节: 主机名或PostgreSQL服务器的IP地址(默认端口是5432) 用户名和密码 数据库名称

  • 选择您想使用PostgreSQL数据库复制 对于完全转储/负载复制的复制方法,提供:

  • 您要复制的表的名称的空格或逗号分隔列表。 您想要复制表格的频率。数据越频繁,数据越新,但PostgreSQL数据库的负载就越大。

    对于增量转储/负载的复制,提供:

    的表/更新要复制的每个表指标列对。 没有更新指标栏?让我们知道!我们仍然可以为您增加负载。

    如果您希望Alooma自动将所有PostgreSQL表映射到您的目标数据仓库,请将映射模式保留为OneClick的默认值。否则,他们必须从Mapper屏幕手动映射。