2013-10-29 132 views
0

您好我有一个小疑问,我已经开始在我的好奇心使用,但现在我有以下问题 我的情况是这样的 - 我有10台机器连接在局域网中,我需要创建名称节点在一个系统中,数据节点在其余9台机器中。所以我需要在所有10台机器上安装Hadoop吗?的Hadoop集群配置/安装

例如我有(1 .. 10)的机器,其中MACHINE1是服务器和从机(2..9)是从站[数据节点]所以我需要在所有10台机器安装hadoop的?

,我已经搜查了很多的Hadoop集群网络商品计算机上,但我不力获得有关安装任何东西[即配置。他们中有些人想怎么配置和自己的系统上安装Hadoop的,但不是在集群环境中

任何一个可以帮助我了?并给我详细的想法或文章建议链接做上述过程

感谢

回答

2

是,您需要安装在每个节点的Hadoop和每个节点应该有服务开始作为适合于它的作用。另外,每个节点上的配置文件必须连贯地描述群集的拓扑,包括各种常用资源(例如namenode)的位置/名称/端口。从头开始手动执行此操作很容易出错,特别是如果您以前从未这样做过,并且您不确切知道您要做什么。也可以决定Hadoop的具体分布(HortonWorks,Cloudera,HDInsight,Intel等)

我会推荐使用其中的一种部署解决方案。我最喜欢的是Puppet,但我确定Chef也会。

不同的(也许是更好?)替代方案是使用Ambari,这是一个专业的Hadoop部署和管理的解决方案。请参阅Deploying and Managing Hadoop Clusters with AMBARI

一些木偶资源,让你开始:Using Vagrant, Puppet, Testing & Hadoop

1
  1. 是Hadoop的需要存在于所有的计算机
  2. 对于群集环境,请经过video