AWS数据管道DynamoDB到S3到Redshift包括JsonPaths

Question

我知道从DynamoDB到Redshift的标准COPY，但只适用于没有地图和列表的模式。我有几张带有地图和列表的ddb表，我需要使用jsonpaths来导入到Redshift。

所以我的问题是，我可以安排从DynamoDB到S3的备份，然后当备份完成时，运行导入到Redshift，包括jsonpaths配置？我想这是一个两阶段的过程。或者我可以创建一个单独的数据管道来执行备份和导入吗？

或者，有没有可以使用AWS的任务管理器，还是需要连接事件（SNS）以通知导入备份已完成？

Answer 1

AWS现在有一些可以运行任务的服务。您可以使用AWS step functions管理您的导入工作流程。 AWS Lambda functions对应于导入工作流中的每个步骤可能会产生AWS Batch jobs，其中第一个作业将您的DynamoDB表备份到S3，第二个作业将使用jsonpaths config导入到Redshift。

Answer 2

你可以做一个对迪纳摩RS复制，但两者的模式有精确匹配AFAIK（我have'nt想这还）

但是你可以从DDB二/单管路设置设置备份到S3和从S3到RS。 DDB需要备份作为JSON对象，所以你需要jsonpath配置插入到你的RS

例 COL1（数） - 0 COL2（字符串） - X 备份看起来像{ “COL1”：{“N “：”0“}，”col2“：{”s“：”x“}} 您的jsonpath得到0应该像$ .col1.n

如果您设置2，您可以使用数据管道预定义模板管道，但你必须建立自己或与一个模板开始，如果你想使用一个管道

您可以连接在故障或管道的成功的snsAlarm基础上再接再厉。