boto是否对大文件很慢？

Question

我正在做大量上传大文件的性能测试，订单为100MB +。我已经阅读了关于分解和上传片段的帖子，但我只是想弄清楚大文件能够多快。

当我上传并观看collectl的性能时，秒数不会超过5MB /秒。另一方面，如果我将文件大小减少到50MB，我可以以20MB /秒的速度上传。

是否有一些基于文件大小的魔法？有没有办法让我的单个100MB文件上传更快？如果它是500MB甚至5G会发生什么？

嗯，我试了很多次，一直得到5MB /秒，现在当我再次尝试时，我得到了15岁以上。这是因为我共享带宽？

-mark

Answer 1

有绝对不是任何魔力博托会占到你所观察的变异回事。这个方程中有很多变量，例如您自己与互联网的连接，您的提供商与骨干网的连接，整体网络流量，S3上的负载等等，以至于很难获得明确的答案。

通常，我发现我可以通过使用分段上传和某种并发性来实现最佳性能。 boto中的s3put命令行实用程序提供了一种执行此操作的示例。此外，如果您的S3存储桶位于特定区域，则如果连接到该特定端点而不是通用S3端点，则可能会看到更好的性能。