使用Hadoop共享集群

Question

是否可以将Hadoop设置为可以与集群上的其他应用程序良好地配合使用？

我熟悉Torque + Maui资源调度程序，并且使用HadoopOnDemand来配置临时Hadoop集群。但是，如果很多人想要使用Hadoop，那会变得非常麻烦：每个人都有同样的设置和拆卸迷你hadoop集群，复制他们自己的HDFS上的和关闭数据的难题等等。

它会如果我们可以有一个永久性的Hadoop实例运行，那么人们可以共享一个总是在运行的HDFS。这需要Hadoop智能地将工作分配给不忙于其他应用程序的节点（比如说R），而不是在排队作业时贪婪。

这可能吗？

Answer 1

这不是公平调度程序的作用吗？

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

我们用它来运行一个永久的Hadoop集群有30个用户。您可以让它抢占重新分配到新池的任务，并且可以为每个池设置单独的优先级。