6

我正在使用Data Pipeline(DP)进行DynamoDB的每日备份,但是,我想对DP运行(DP运行之间的更新)错过的数据执行增量备份。为此,我想使用DynamoDB Streams + Lambda + S3将实时DynamoDB更新提供给S3。我了解DynamoDB流如何工作,但是,我正在努力创建一个写入S3的Lambda函数,并说每小时滚动一个文件。DynamoDB Streams to S3

有人试过吗?

+1

你是什么意思“每小时滚动文件”?您不能追加到S3中的文件。您必须为每次更新创建新文件,除非您想每次读取整个文件,向其中添加数据,然后再次将其写回S3。这听起来很痛苦。 – garnaat

+0

在log4j或其他可以根据特定标准滚动文件的框架中滚动文件。我知道S3中的文件是不可变的,所以我想知道这是否可能。 – user3293898

回答

7

它的一个小时的工作,伙计,你需要做的是

  1. 启用迪纳摩DB更新流和附加AWS提供的lambda函数 https://github.com/awslabs/lambda-streams-to-firehose
  2. 启用流水流,并使用上述函数流超时记录消防水带。
  3. 配置Firehose将记录转储到S3。

完成。

+0

如果您没有可用的流水线,该怎么办? –