2012-12-23 167 views
1

我需要在我的cloudera CDH4群集设置上运行简单的基准测试。 我的cloudera群集设置(CDH4)有4个节点,A,B,C和D 我正在使用cloudera manager FREE版本来管理cloudera服务。 每个节点都配置为执行多个角色,如下所述。 答:NameNode的,JobTrackerNode,RegionServer的,SecondaryNameNode,数据管理部,TaskTrackerNode B:数据管理部,TaskTrackerNode C:数据管理部,TaskTrackerNode d:数据管理部,TaskTrackerNodecloudera群集节点角色

第一个问题是,一个节点可以被NameNode和数据管理部? 这个设置是否正确? 我的第二个问题是,在cloudera经理UI上,我可以看到许多服务正在运行,但我不确定我是否需要所有这些服务? 服务于我的设置运行是: hbase1 hdfs1 mapreduce1 hue1 oozie1 zookeeper1

我是否只需要hdfs1和mapreduce1服务。如果是,我如何删除其他服务?

Cloud和hadoop概念对我来说是新生事物,所以如果我的一些假设是不合逻辑的或错误的,那么请原谅我。

回答

3

对你的第一个问题的回答是肯定的。但由于NameNode需要足够的RAM,因此在生产中永远不会这样做。人们通常只在其主节点上运行NameNode + JobTracker。在另一台机器上运行SecondarNameNode也更好。

来到您的第二个问题,Cloudera Manager不仅仅是Hadoop。它是一个完整的软件包,包含了HBase(一个NOSQL DB),Oozie(一个工作流引擎)等几个Hadoop子项目,这些都是您在UI上看到的过程。

如果你想玩Hadoop,HDFS和MapReduce就足够了。您可以从UI本身轻松停止其他进程。它不会对您的Hadoop集群造成任何损害。

HTH