2010-09-14 19 views
1

我都推出两个节点的一小簇,发现主保持完全空闲而从做所有的工作。我想知道让主人执行一些任务的方式是什么。据我所知,对于更大的簇具有专用主可能是必要的,但一个2节点群集上似乎矫枉过正。空闲Hadoop的高手 - 如何让它做一些工作?

感谢您的任何提示,

瓦茨拉夫

更多的细节:

两个盒子各有2个CPU。该集群已在Amazon Elastic MapReduce上设置,但我正在从命令行运行hadoop。

我刚在该集群有:

Hadoop 0.18 
java version "1.6.0_12" 
Java(TM) SE Runtime Environment (build 1.6.0_12-b04) 
Java HotSpot(TM) Server VM (build 11.2-b01, mixed mode) 


hadoop jar /home/hadoop/contrib/streaming/hadoop-0.18-streaming.jar \ 
      -jobconf mapred.job.name=map_data \ 
      -file /path/map.pl      \ 
      -mapper "map.pl x aaa"          \ 
      -reducer NONE          \ 
      -input /data/part-*           \ 
      -output /data/temp/mapped-data         \ 
      -jobconf mapred.output.compress=true 

,其中输入由18个文件。

回答

0

其实Hadoop的主人是不是一个做工作(任务运行)。 您可以在同一台机器上启动的DataNode和TaskTracker共同主运行。

0

类Hadoop用户列表史蒂夫·劳伦认为,在主开始的TaskTracker会做的伎俩。

$斌/ hadoop-daemon.sh开始的TaskTracker

似乎工作。您可能需要调整此任务跟踪器的插槽数量。

0

对于Hadoop 0.18可能不同,但您可以尝试将主服务器的IP地址添加到conf/slaves文件 - 然后重新启动集群