2012-08-29 65 views
0

我正在使用rsync同步许多小文件(每个4.5 MB)。我正在使用一个18000的bwlimit。我将执行批量rsync命令,使得Rsync性能 - 同步一个大文件vs同步多个小文件

rsync -v dest_host:file1 dest_host:file2 dest_host:file3 dest_host:file4 dest_host:file5 ... src_dir。

但我观察到的是,对于上述带宽,我无法每分钟同步超过4个文件。这些是预期的吗?我想知道如果我同步了一个18 MB的单个大文件,我可以更快地同步吗?

而对于我上面的用例,有没有用处?

+0

此链接可能对您有所帮助:http://serverfault.com/questions/375720/speed-up-rsync-by-running-multiple-instances-at-once 显然我的回答太短了,转换为评论。无论如何,完整的细节都在那个URL上。 – Paul

+0

我的问题是我需要按照它们创建的顺序逐个传输文件。我可以控制文件的大小,但我严格按照创建顺序传输文件。我想了解的一件事是,我拥有20Mbps的带宽,但我无法同步超过3个4.5 MB文件 – Mohan

回答

0

我设法回答我自己的问题。

同步多个小文件会产生开销,如文件创建,打开,关闭源和目标。

当我们传输100个大小为5MB的文件和一个大小为500MMB的文件时,这会很重要。

所以,判定,是同步一个大文件是有益的。