在DynamoDB表备份期间限制AWS数据管道使用的EC2资源

Question

我需要每隔几个小时备份6个DynamoDB表。我从模板创建了6个管道，并且它运行得非常好，只是它创建了6个或更多的虚拟机，这些虚拟机大部分都处于运行状态。这不是我能负担得起的经济。

有没有人有过优化这种场景的经验？

Answer 1

浮现在脑海中的一些解决方案是：

一： 为了确保EC2资源被终止，可以设置在EC2资源定义的terminateAfter财产。这里讨论终止之后的语义 - How does AWS Data Pipeline run an EC2 instance?。

两个： This thread在AWS论坛上讨论了数据管道如何使用现有的EC2实例。

三： 使用备份管道模板始终创建一个单一管道，其中单个Activity用于从单个源读取并写入单个目标的备份。您可以在AWS控制台中查看管道的JSON源，并使用多个活动实例编写一个类似的管道，其中一个用于要备份的每个表。由于管道定义只有一个EMR资源，因此只有该EMR资源才能完成所有活动的工作。

Answer 2

您可以在Ec2Resource对象上设置字段maxActiveInstances。

maxActiveInstances组件的并发活动实例的最大数量。对于活动，将其设置为1将按照严格的时间顺序运行实例。大于1的值允许活动的不同实例同时运行，并要求您确保您的活动可以容忍并发执行。

看到这个：http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html

亚拉文。 R