从检查点重新启动后，Spark Spark选项卡消失

Question

我有一个在群集（Spark 1.6）上运行的Spark Streaming作业，它将检查点转换为S3。当我最初开始工作时，我可以看到“流式传输”选项卡。但是，当我从检查点重新开始作业时，Streaming选项卡消失。该作业仍作为流式作业工作，我看到批处理以配置的批处理间隔显示。见下文。

如果我清除出检查点数据，标签回来。我怀疑在从检查点重新启动时，Streaming选项卡未正确注册。我看了一下Spark Streaming code。当应用程序状态从检查点反序列化时，是否有可能不会调用此流？

有谁知道如何解决这个问题？

Answer 1

如果我清除检查点数据，该选项卡会返回。我怀疑 从 检查点重新启动时Streaming选项卡未正确注册。

它被调用，但直到它完成从S3检查点位置加载所有数据之后才显示流选项卡。如果您的血统很长，可能需要一些时间才能加载。一旦所有数据从检查点恢复，您将看到“流”选项卡出现。