创建集群文件服务器系统

Question

我目前有3个文件服务器，每个都有一个由24个磁盘组成的RAID 6阵列。

问题是，有什么办法可以使它们作为一个大驱动器而不是3个独立的系统工作。我需要更多的吞吐量，我认为这是一个可能性。也许像Hadoop这样的Distrubted文件系统？

Answer 1

答案取决于此硬件上数据的预期用法。 Hadoop文件系统HDFS - 适合非常特殊的Map-Reduce处理需求。主要限制，对于其预期用途而言是可以的，但对其他用户有问题：
a）文件不能编辑，但只能附加。
b）存在很多小文件的问题。它被设计用于大小为64 MB或更大的文件。所有元数据存储在内存中的限制原因。
c）它不符合posix标准，所以你不能挂载它，并且由于不知道HDFS的应用程序将它用作常规文件系统。

我会考虑像GlusterFS，Ceph或Lustre这些类似于您所描述的情况下构建的选项。需要更多信息来给出选择其中之一的好建议。