合并/聚合S3对象

Question

我有从不同的机器上传到S3的日志文件（m1_log.txt，m2_log.txt，m3_log.txt）。

他们上传到存储桶，但我希望能够创建所有三个连接的log.txt。

我正在编写一个脚本，它可以下载所有文件，连接它们，上传它们，然后删除旧的文件，但似乎是浪费了大量的带宽和时间。

有没有办法要么：

1. “附加” 的文件上S3？因此，我们可以将每个进程追加到相同的log.txt
2. 在s3上每隔x分钟运行一次命令，将它们合并到一起？

Answer 1

你的第一个想法，下载它们，concat，上传和删除是完成这个任务的唯一方法。您不能在S3上“追加文件”或“运行命令”。

Answer 2

这个问题已经在这里找到答案：Merging files on AWS S3 (Using Apache Camel)

这是可能的，如果他们超过5MB更大的合并文件，或者如果他们不就可以伪造出来，所以他们超过5MB更大。这是通过大多数aws SDK中可用的copy_part命令完成的。 Danilop和Joseph Lust的回答是正确的