我都推出两个节点的一小簇,发现主保持完全空闲而从做所有的工作。我想知道让主人执行一些任务的方式是什么。据我所知,对于更大的簇具有专用主可能是必要的,但一个2节点群集上似乎矫枉过正。空闲Hadoop的高手 - 如何让它做一些工作?
感谢您的任何提示,
瓦茨拉夫
更多的细节:
两个盒子各有2个CPU。该集群已在Amazon Elastic MapReduce上设置,但我正在从命令行运行hadoop。
我刚在该集群有:
Hadoop 0.18
java version "1.6.0_12"
Java(TM) SE Runtime Environment (build 1.6.0_12-b04)
Java HotSpot(TM) Server VM (build 11.2-b01, mixed mode)
hadoop jar /home/hadoop/contrib/streaming/hadoop-0.18-streaming.jar \
-jobconf mapred.job.name=map_data \
-file /path/map.pl \
-mapper "map.pl x aaa" \
-reducer NONE \
-input /data/part-* \
-output /data/temp/mapped-data \
-jobconf mapred.output.compress=true
,其中输入由18个文件。