MapReduce冻结在99％

Question

我遇到了一个非常简单的hadoop程序，它进展到99％的还原阶段然后冻结。输入是一个非常精简的文件〜50行文本，输出应该是非常直接的Id和它们的频率的键值对。

我已经将mapred-site.xml内的mem分配增加到〜6Gig。

<property> 
    <name>mapred.child.java.opts</name> 
    <value>-Xmx6024m</value> 
</property> 

我试图检查日志文件，但它们都是空的，没有写入它们。请建议这可能是错误的？

Answer 1

好的，所以当我开始使用较新的Job &配置类时，问题就解决了。直到现在我正在使用遗留代码，这似乎导致了很多错误。所以我想我的建议是使用最新的hadoop库&而不是已弃用的库。

悲伤的是，一些hadoop书籍仍然教与传统类& APIs。 - 不要使用它们！