为什么火花击杀任务？

Question

我跑了火花计算应用程序，我经常碰到一些问题与任务查杀。这里是如何看起来像我的火花控制台：

可以看到有一些工作与描述（_num_ killed: another attempt succeeded）。这不仅仅是失败，这是不同的。有人可以解释它是什么吗？

Answer 1

如果任务似乎正在一个非常长时间才能完成，星火可以启动的情况下，该任务的额外的重复副本，他们可以更快地完成。这被称为投机或投机性执行。如果一个副本成功，其他人可以被杀死。

查看参数开始spark.speculation这里：https://spark.apache.org/docs/latest/configuration.html

Answer 2

杀害 - 这意味着，执行由谁停下来问杀遗嘱执行人的工人死亡。这种情况可能是由于诸多原因像某些用户驱动的行动，也可以是你的遗嘱执行人处理完毕，但由于工人却正在退出，因此需要杀死执行它不存在某些原因。在加工过程中