Hadoop已完成和已退休的作业之间的区别

Question

标题使问题变得非常清楚。为什么在求职者中有两个不同的部分是为了完成和退休的工作？

谢谢。

Answer 1

工作退休是一个从jobtracker的正常程序，将作业坚持到磁盘和清理内存。您可以在the Cloudera blog了解更多详细信息：

一旦工作完成后，会被保存在内存中（最多mapred.jobtracker.completeuserjobs.maximum）和磁盘上按以上。还有是控制已完成作业的整体退休政策的配置值：

重点：mapred.jobtracker.retirejob.interval
默认：24 * 60 * 60 * 1000（1天）
换句话说，完成作业默认一天后退休。就业支票退役默认情况下，每分钟完成，可以进行控制：

重点：mapred.jobtracker.retirejob.check
默认：（以毫秒60秒）60 * 1000
检查持续运行，而JobTracker正在运行。如果某项工作已经退役，它将从JobTracker的内存列表中删除（它也会删除所有工作任务等）。至少1分钟（JobTracker.java中硬编码）的作业完成时间不退休。退休电话还会删除作业的JobTracker Local（见上文）文件。剩下的就是历史目录中每个退役作业的两个文件（hadoop.job.history.location），加上 - 如果启用 - 每个作业文件（hadoop.job.history.user.location）。