将新文件上传到S3存储桶时没有发布SQS事件

Question

今天我遇到了一个问题，如果有解决方案或者它是一个错误，我不是。

在我们的项目中，我们使用S3和SQS和API Gateway作为S3的接口。每当通过网关上传新文件时，新事件将发布到SQS，并且没有问题。

今天早些时候，我部署了一个新版本的服务并使用SQS消息。为了测试一切正常，我创建了一个新的S3存储桶和相应的SQS队列。比起我开始使用boto3 Python库将生产桶中的对象复制到新创建的对象。

过了一段时间我发现有些文件没有发布SQS事件。经过研究发现，所有这些文件都大于8Mb。

我也尝试过使用AWS CLI上传一个文件以防万一，但结果是一样的。

但是，当我从AWS Web控制台上传文件时，则可以看到SQS事件已发布。

所以一切都通过API Gateway或AWS Web Console但不AWS CLI或boto3想必其他库上传到S3时的作品。 看起来像一个错误或一些限制，但我找不到任何文档。

有没有人遇到类似的行为？

在此先感谢您的任何提示。

Answer 1

我相信8MB是CLI（和SDK）开始执行多部分上传操作的大小。您可能需要为S3存储桶上的s3:ObjectCreated:CompleteMultipartUpload事件启用通知。