Hadoop的slowtaskthreshold是否有助于解决竞争条件？

Question

我对mapreduce.job.speculative.slowtaskthreshold有疑问。

文档说：

标准偏差的数量，通过该任务的进度AVE率必须低于的任务的所有正在运行的任务平均要考虑太慢。

我很好奇当一个进程被认为是“太慢”时会发生什么。它杀死并重新启动它？杀人？我很好奇，因为我认为我可能遇到了竞争条件，并且想调整参数以最小化问题。

来源：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

Answer 1

随着推测执行，当框架决定一个任务是“太慢”，它会预测执行不同的节点上相同的任务。一旦两个任务中的一个成功完成，另一个任务就会被终止。