我可以使我的Hadoop减速器更快吗？

我是Hadoop的新手，只是尝试wordcount示例。我只是建立了一个节点，指的是http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/我可以使我的Hadoop减速器更快吗？

我上传了一个很简单的文字，加上少量文字到HDFS，然后运行wordcount.jar。

不知何故，减速机处理需要很长时间。我知道这是I/O瓶颈，但是有什么方法可以设置一些参数并使其更快？（大声笑，减少过程仍然是0％，差不多20分钟）

13/06/04 15:53:14 INFO mapred.JobClient: map 100% reduce 0%

来源

2013-06-04 Freya Ren

的可能重复解释[停留在地图上的Hadoop字计数例如100％降至0％]（http://stackoverflow.com/questions/10165549/hadoop-wordcount- example-stuck-at-map-100-reduce-0） –

无耻选择f-plug：http://whiteycode.blogspot.co.uk/2012/05/hadoop-local-map-aggregation.html –

看来你的Hadoop有一些问题，MR无法正常运行。

请检查：

无论你的Hadoop工作正确地访问http://localhost:50030，这是你的Hadoop的JobTracker的WebUI中
查找到你的$ HADOOP_HOME /日志日志文件/，尤其是*jobtracker*.log，和*tasktracker*.log。

通常，如果这是您第一次测试Hadoop。请检查此链接：Hadoop WordCount example stuck at map 100% reduce 0%

来源

2013-06-05 04:36:51

谢谢，我发现问题是，当我格式化namenode时，主机URL不是127.0 .0.1（奇怪）。这导致了连接问题。所以我编辑了/ etc/hosts文件来改变它。 –

如果你想修改像增加Reduce任务数的几个Hadoop的设置，您可以使用“-D”选项：

[email protected]:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output

而且与HDFS你不能强迫数map任务mapred.map.tasks但您可以指定mapred.reduce.tasks在本link

来源

2013-06-05 06:40:08 Vbp

我可以使我的Hadoop减速器更快吗？

回答

相关问题