复制Google存储分区的最快方法是什么？

我有一个10TB桶，需要尽快创建它的副本。什么是最快和最有效的方法呢？复制Google存储分区的最快方法是什么？

2016-05-04 Misko

你看过内置的Transfer Service吗？ https://cloud.google.com/storage/transfer/ – jarmod

我试过这个S3，但从来没有想过它可以从gs复制到gs。谢谢 – Misko

希望它有帮助。已经添加为未来的读者的答案。 – jarmod

您可以通过gsutil轻松实现。

gsutil -m cp -r gs://source-bucket gs://duplicate-bucket

您是否在Google云端存储中复制到具有相同位置和存储空间的存储分区？如果是这样，这个操作应该非常快。如果存储桶具有不同的位置和/或存储类别，则操作将会更慢（并且更昂贵），但这仍然是最快的方式。

来源

2016-05-04 00:32:51

我提出了Mike Schwartz的回答。我建议的命令会稍微快一点，因为它不必在开始复制之前完全枚举源存储桶中的所有对象。但是，如果在操作过程中出现任何问题（例如，您遇到暂时的网络中断），则需要从头开始复制。在源存储桶的内容发生变化后，Mike的命令也可以重新运行，以便以后逐渐同步源桶中的目标桶。 –

假设你想桶复制到另一个桶中相同的位置和存储类，你可以在GCE实例执行gsutil的rsync：

gsutil -m rsync -r -d -p gs:://source-bucket gs://dest-bucket

如果要在位置或存储类的复制上面的命令仍然可以工作，但会花费更长的时间，因为在这种情况下，数据（不仅仅是元数据）需要被复制。

无论使用哪种方式，都应该检查结果状态，如果发生任何错误，请重新运行rsync命令。（rsync命令将避免重新复制已复制的对象。）您应该重复rsync命令，直到成功完全复制存储桶为止。

来源

2016-05-04 00:37:43

一个简单的方法是使用谷歌的Cloud Storage Transfer Service。它也可能是最快的，但我没有证实这一点。

来源

2016-05-06 00:18:45 jarmod

复制Google存储分区的最快方法是什么？

回答

相关问题