通过网络存档，压缩和复制大量文件

Question

我试图通过ssh复制超过500000（大约1TB）的文件，但是由于我已经超出了ssh进入远程计算机的时间限制，

所以我开始对远程计算机上的所有文件进行归档和压缩（使用tar和gzip），但是即使我在后台离开进程，因为我超出了ssh'ing进入远程电脑的过程被取消。

最后，我继续逐一压缩文件，然后tarring（根据一个建议，归档消耗大量文件的时间很长），但是，我得到的错误是参数列表太长。

由于所有这些文件都分布在20个这样的文件夹中，因此我不想输入每个文件夹并将其分割为多个文件夹并归档。

任何建议将非常有帮助。

Answer 1

绝对焦油和GZ无论是整个事情还是20个目录单独（我会做后者分而治之至少一点）。这减少了整体传输时间，并提供了一个很好的错误检查另一端。

通过ssh使用rsync进行传输。如果它在中间被冲洗掉，使用rsync --append来拾取你离开的地方。