如何处理大文件上传

我想创建一个简单的文件上传服务器。服务器应该能够处理每个10 GB大小的文件和大约10,000个文件。如何处理大文件上传

我想知道什么是最好的体系结构 - 使用文件系统或数据库？我必须使用RAID吗？有什么办法可以免费实现这个要求吗？

我有哪些最便宜的选项？

来源

2011-11-13 Jonathan

你想100TB存储是免费的吗？这听起来有点乐观 - 不是很远，但仍然。而且你也找不到具有这种容量的单个驱动器，因此RAID的某种形式或其他形式是必需的。 – Mat

我可以从云端进行突袭吗？我应该使用数据库吗？ – Jonathan

你的问题太广泛/模糊，无法回答。这取决于你想要完全用这些数据来做什么。（“从云中突袭”几乎就是一系列流行语。） – Mat

“文件系统或数据库”

您将需要一个数据库中的文件列表，而实际存储文件的文件系统。

“我必须使用RAID吗？”

基本上没有。 RAID是设置硬盘驱动器的各种模式的集合，以速度和可靠性为代价，而牺牲与额外驱动器相关的额外成本。如果您希望有一台可容纳100 TB的服务器，则可能需要将这些驱动器组合在一起形成一个非常大的逻辑磁盘，而不是多个较小的驱动器，并使用用于数据安全的奇偶校验驱动器。 RAID是主板上的内置控制器，或者如果您打算使用几十块硬盘，则需要使用专用电源和专用RAID控制器。在这一点上，考虑租用云中的存储空间会更具成本效益，尽管我现在不会要求提供数百TB的存储空间，但我会尽量在增长时扩展。

“有什么办法可以免费实现这个要求吗？”

编号RAID控制器成本很高（8端口最低300美元），所以任何体面的硬盘足够满足您的需求。您可以从4磁盘设置开始，并使用主板的内置RAID工具（可在许多高端主板上使用），并且在时机到来时，转而使用更大的RAID卡。

调查云存储。它的整体成本要低很多，特别是包括两点还没有提出：功耗和网络连接的成本。

来源

2011-11-13 15:45:29 Tim

如何处理大文件上传

回答

相关问题