茂宜岛的Hadoop +扭矩集群

Question

我有一个Torque + Maui集群。是否可以在同一集群中安装Hadoop？如果可能的话，这样做有什么优点和缺点？

Answer 1

这可能是一个良好的开端：

http://hadoop.apache.org/docs/r0.18.3/hod.html

我还没有亲自工作，但我听说，这是没有被积极维护。

从我所看到的Hadoop有它自己的调度程序，它希望Hadoop节点在Hadoop文件系统所在的位置运行。这通常是一个持久性环境，因此您可以加载一次文件系统（大数据）并将您的作业分配给正好包含所需数据副本的节点。转矩倾向于从集群中获取任意一组空闲节点，将它们分配给作业，运行作业，然后清理下一个作业的环境。这与Hadoop的设计背道而驰。

我可以看到哪里有一个环境可以完全利用您已有的系统，但管理层最好会混乱。