将大数据集迁移到s3

我尝试重新命名并将2TB（数百万的图像）从本地服务器迁移到amazon s3上。我写了PHP使用aws库（运行在同一本地计算机上）发送它们，但我没有6个月想完成。寻找更快做到这一点的一些想法。将大数据集迁移到s3

我有两个想法，但不知道他们会更好.... 1.使用一些挂载s3解决方案（s3fs），将并行上传（将它???） 2.拉图像到一个ec2实例并从那里发送到s3。我可以用ssh/FTP或http把它们拉出来。仍然可能需要手动并行它们？

任何帮助，将不胜感激。

2011-04-12 therealsix

将你的10M +图像列表分割成子集。并行地将每个子集上传到S3。

2011-04-12 23:37:25

我需要100个平行线。似乎必须有一些能够为我做到这一点，或者至少有所帮助。 – therealsix 2011-04-12 23:48:47

脚本语言将帮助你。也许你可以编写一个包装外壳脚本来自动分割和提交部分。 – 2011-04-12 23:51:13

我希望找到能够为我做到这一点的东西，但最终并没有那么糟糕。我实现了argv参数，因此我可以轻松地在不同的图像集上调用上载脚本。 – therealsix 2011-04-13 18:00:50

另一种可能性是ship Amazon a hard drive与您的数据。

2011-04-12 23:57:40

回答