Spark Streaming失败执行器任务

Question

当我查看Spark UI上的Jobs选项卡时，可以看到任务状态如20/20 /（4失败）。

这是否意味着失败的任务会丢失数据？这些失败的任务是不是转移到了diff执行器？

Answer 1

虽然你应该警惕失败的任务（它们通常一个潜在的内存问题的指标），你不必担心数据丢失。这些阶段已被标记为已成功完成，因此失败的任务实际上（最终）已成功处理。