IBM General Parallel File System（GPFS）是否支持Map/Reduce作业？

IBM通用并行文件系统（GPFS）是否支持Map/Reduce作业？不使用第三方软件（如Hadoop Map/reduce）？

谢谢！

2011-05-23 leon

你几乎回答了你自己的问题：它是一个fileystem，而不是计算框架。 – 2011-05-23 16:08:21

但是Hadoop本身支持文件系统和计算能力：映射/减少作业 – leon 2011-05-23 19:17:44

是的，但它们是分裂的，它是HDFS和MapReduce。你只能运行HDFS或者MapReduce。然后，MapReduce可以使用HDFS或其他文件系统，甚至可以使用本地文件系统。 – 2011-05-24 06:15:11

GPFS在Map/Reduce出现几十年前已经发展成为分布式计算范式。 GPFS本身没有Map/Reduce功能。主要针对HPC，存储节点与计算节点不同。

因此Map/Reduce可以使用第三方软件（在所有Hadoop节点上安装GPFS）来完成，但它不会非常有效，因为所有数据都很遥远。没有数据局部性可以使用。缓存或多或少都没用，等等。

2011-05-24 06:09:28 dmeister

2009年，GPFS扩展为与Hadoop无缝协作，成为GPFS文件放置优化程序（FPO）的GPFS共享无集群体系结构。如果应用程序需要，FPO允许完全控制所有副本的数据放置。当然，您可以轻松配置以匹配HDFS分配。

2013-07-02 21:55:39

回答