你会如何将文件写入s3并行？即不是逐一序列化

Question

我每小时都有10K个文件写入S3，我怎么能并行执行此操作？

Answer 1

使用多个线程或使用S3驱动程序尝试EventMachine。您需要每秒大约3个文件的吞吐量，这取决于文件大小应该不那么难。确保在每个文件之间使用HTTP keep-alive不重新连接。