无法在OS X上启动Hadoop YARN的节点管理器10.8

Question

启动所有其他节点后，当我尝试启动nodemanager时，似乎它已被打开，然后自动终止。如下：

Yitongs-MacBook-Pro:hadoop timyitong$ sbin/yarn-daemon.sh start nodemanager 
starting nodemanager, logging to /Users/timyitong/Dev/hadoop/logs/yarn-timyitong-nodemanager-Yitongs-MacBook-Pro.local.out 
Yitongs-MacBook-Pro:hadoop timyitong$ jps 
8981 DataNode 
9300 Jps 
9139 JobHistoryServer 
8932 NameNode 
9038 ResourceManager 

我没有得到任何错误，任何异常，但nodemanger不在那里。当我试图阻止它，它说，像这样（的stopnodes.sh只是一个脚本），这表示该节点管理器是不存在的：

Yitongs-MacBook-Pro:hadoop timyitong$ sh stopnodes.sh 
stopping namenode 
stopping datanode 
stopping resourcemanager 
no nodemanager to stop 
stopping historyserver 

而且我不知道是否是因为节点管理器是没有开始，当我尝试运行示例wordcount程序时，我总是让我的任务永远处于待决状态。

我的环境是OS X 10.8，Hadoop YARN 2.2.0。 我已经用export JAVA_HOME=$(/usr/libexec/java_home -v 1.6)解决了java版本问题。

Answer 1

其实我用bin/yarn nodemanger直接启动服务器，发现问题所在。在我的yarn-site.xml中，我不应该设置包含点（。）的yarn.nodemanager.aux-services的名称，如mapreduce.shuffle。改变mapreduce.shuffle至mapreduce_shuffle后，问题就解决了。

真的不明白为什么它不允许点，因为我根据这个配置的所有东西blog post，这里的设置似乎很好。

<property> 
    <name>yarn.nodemanager.aux-services</name> 
    <value>mapreduce.shuffle</value> 
</property> 
<property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 

</configuration> 

Answer 2

的mapreduce.shuffle应mapreduce_shuffle。请注意_（下划线而不是圆点）。也看看http://www.thecloudavenue.com/2012/01/getting-started-with-nextgen-mapreduce.html