如何管理的Hadoop集群

hadoop

2013-01-06 56 views 0 likes

我已经运行4个节点的Hadoop集群，我问什么办法来管理该集群远程如何管理的Hadoop集群

例如

管理我的笔记本电脑集群的

执行MapReduce任务的
禁用或启用数据节点

有没有办法做到这一点远程？

来源

2013-01-06 Ahmed Abobakr

回答

如果您使用的是Cloudera发行版，Cloudera Manager webapp会让您这样做。其他发行版可能有类似的控制应用程序。这会给你每个节点的控制权。

为了执行MR任务，您需要设置通常从外部节点提交作业，指向正确的JobTracker和NameNode。所以我不确定你在那里要求什么。

来源

2013-01-07 01:08:33 rgordon0

谢谢rgordan，这就是我要求的，但对于Apache的hadoop没有cloudera分布的hadoop，你有任何想法在Apache的每节点控制hadoop –

你可以尝试dfsadmin命令：添加配置参数：dfs .hosts.exclude，并让它指向包含要删除的节点的文件。然后调用命令： '斌/ Hadoop的dfsadmin -refreshNodes' 其次 '斌/ Hadoop的dfsadmin -report' 在行动中看到的结果。 – rgordon0

非常感谢@ rgordon0我会尝试你的解决方案 –

如何管理的Hadoop集群

回答

相关问题