所有地图任务达到100％，但仍处于运行状态

Question

在我的MR作业中，使用HFileOutputFormat进行批量加载时，会生成87个地图任务，并且在大约20分钟内所有任务都达到100％。然而，单个任务状态仍处于hadoop管理页面的“正在运行”状态，并且没有任何状态转移到完成状态。减速机始终处于挂起状态，从不启动。我只是在等待，但在30分钟超时后出现错误。

我的工作必须加载大约150列。我尝试用较少的列数运行相同的MR作业，并轻松完成。任何想法为什么地图任务即使在达到100％后也不会移至完成状态？

Answer 1

一个可能的原因是发出的输出数据会很大。对它进行排序并将其写回磁盘将是一件非常耗时的事情。这通常不是这种情况。 检查日志并寻找改进map-reduce代码的方法会更明智。