随机误差的MapReduce：在洗牌错误本地提取器

Question

我应该在哪里寻找纠正洗牌错误。我检查了yarn-site.xml。我正在运行一个集群。我试图四处寻找，但找不到任何有用的东西。

纱线的site.xml

<configuration> 

<!-- Site specific YARN configuration properties --> 

<property> 
<name>yarn.nodemanager.aux-services </name> 
<value>mapreduce.shuffle </value> 
</property> 

<property> 
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class </name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 

<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>slave5:8031</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>slave5:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.address</name> 
<value>slave5:8032</value> 
</property> 



</configuration> 

Answer 1

删除有关从核心-site.xml中临时文件的配置。这个答案帮了我。

https://stackoverflow.com/a/11035183/5380111

这样从核心site.xml中删除的内容： -

<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/app/hadoop/tmp</value> 
</property>