从上传到EC2 S3一个巨大的文件失败

我想从EC2上传160 GB的文件使用从上传到EC2 S3一个巨大的文件失败

s3cmd put --continue-put FILE s3://bucket/FILE

但每次上载与消息中断到S3：

FILE -> s3://bucket/FILE [part 10001 of 10538, 15MB] 8192 of 15728640 0% in 1s 6.01 kB/s failed 

ERROR: Upload of 'FILE' part 10001 failed. Aborting multipart upload. 
ERROR: Upload of 'FILE' failed too many times. Skipping that file.

的目标存储区确实存在。

问题的原因是什么？

有没有其他方法可以上传文件？

谢谢。

来源

2014-04-27 hdf

很多可能的解决方案在这里：http://stackoverflow.com/questions/5774808/s3cmd-failed-too-many-times –

谢谢！其中一个解决了我的问题，但是是什么导致了这个问题？ – hdf

针对此特定情况的解决方案： http://stackoverflow.com/a/22107084/3189744 – hdf

每个对象最多可以有10000个上传部件，因此它在部件10001上失效。使用较大的部件可能会解决该问题。

来源

2014-04-27 19:25:02

“巨大”---它是10s还是100s的GB？ s3将对象大小限制为5GB，如果超过大小限制，则上传可能会失败。

来源

2014-04-27 17:32:41 ericzma

该文件具有160 GB的大小。我没有问题上传高达80 GB的文件 – hdf

啊......我关于S3的过时信息..他们现在支持高达5TB：http://aws.typepad.com/aws/2010/12/amazon-s3 -object - 大小 - limit.html – ericzma

从上传到EC2 S3一个巨大的文件失败

回答

相关问题