我需要制作一个包含几个子目录的大目录

Question

我有一个包含在一个包含大约30,000个子目录的目录中的数据集。这些目录中的每一个都包含一个文本文件和另一个子目录。该子目录包含一些文本文件（范围从0个文本文件到数百个）。我的许多同事都使用这个数据集，但实际上它至少需要6个小时才能将数据集从实验室中的一台计算机/硬盘传输到另一台 - 不是因为数据集的大小，而是因为繁琐它的存储格式。我想创建一些存档（如.tar.gz）来存储这些数据，以便它们可以在计算机之间快速传输。我想看看有没有人曾经使用过类似的东西，并能告诉我最快，最好的方法来做到这一点？我在想，一个shell脚本可能比我自己创建这个档案更快。

Answer 1

建议：NFS挂载目录。然后，一个窗口框或一个unix框可以访问该目录。

评论：像这样的目录结构对文件系统中的inode是坏消息，并且也增加了搜索时间。

答：这将工作在任何POSIX兼容的Unix机器，并假定存在的只是一个基本目录中repository--

cd /path/to/archive; tar cvf mycharhive.tar ./archive_dir; gzip myarchive.tar 

这将创建一个相对路径tar归档 - 这意味着你可以将它解压缩到一个低级目录，而不是根目录。