这个hadoop失败的原因是什么？

执行reduce任务时，经常发生在我的hadoop作业中。 这个问题的一些原因可能是reducer没有长时间编写上下文，所以你需要在你的代码中添加context.progress（）。但是在我的reduce函数中，上下文经常被写入。这是我减少功能：

public void reduce(Text key, Iterable<Text> values, Context context) throws 
     IOException,InterruptedException{ 
      Text s=new Text(); 
      Text exist=new Text("e"); 
      ArrayList<String> T=new ArrayList<String>(); 
      for(Text val:values){ 
       String value=val.toString(); 
       T.add(value); 
       s.set(key.toString()+"-"+value); 
       context.write(s,exist); 
      } 
      Text need=new Text("n"); 
      for(int i=0;i<T.size();++i){ 
       String a=T.get(i); 
       for(int j=i+1;j<T.size();++j){ 
        String b=T.get(j); 
        int f=a.compareTo(b); 
        if(f<0){ 
         s.set(a+"-"+b); 
         context.write(s,need); 
        } 
        if(f>0){ 
         s.set(b+"-"+a); 
         context.write(s,need); 
        } 
       } 
      } 
     }

你可以看到上下文中的循环频繁写入。这种失败的原因是什么？我该如何处理它？

来源

2016-11-30 Yu Gu

没有工作正确完成或因为这些故障而中断？ – AdamSkywalker

它仍然运行到100％，并以失败告终。@ AdamSkywalker –

我首先打开applicaton UI并检查失败的reducer中的应用程序日志。他们可以包含一些线索 – AdamSkywalker

您的任务需要600多秒才能完成。

从Apache文档page，你可以找到更多的细节。

mapreduce.task.timeout

600000（在毫秒小号默认值）

如果它既不读取的输入毫秒的任务之前的数目将被终止，写入一个输出，也不更新其状态字符串。值为0会禁用超时。

可能的选项：

微调您的应用程序来完成任务，在600秒

OR

增加超时参数mapreduce.task.timeout在mapred-site.xml中

来源

2016-11-30 15:53:53

非常感谢！它非常有帮助 –

这个hadoop失败的原因是什么？

回答

相关问题