2016-03-30 39 views
4

想了解在Mapper/Reducer中处理异常的最佳实践。选项1:不要有任何try/catch,并让任务失败,MR会重试最终终止任务的任务。属性mapreduce.map/reduce.maxattempts在这里扮演角色。在Mapper或Reducer中处理异常的Hadoop最佳实践是什么?

选项2:使用计数器记录catch块中的失败次数。根据这些错误的某个阈值,可以杀死该作业或仅使用计数器显示失败记录的数量。

处理map-reduce中异常的任何(其他)常见/标准操作?

回答

2

选项1和2列出了我们在项目中处理的一些方法。请看here。它列出了几个更多的选项

相关问题