运行java spark工作有时给出消息错误初始化spark上下文跟错误无法调用停止的spark上下文上的方法

Question

在Spark集群上运行Spark程序时，出现消息说错误正在初始化spark上下文，之后出现错误说不能调用方法停止的火花上下文。有时在运行相同的作业时，它会成功运行而不会出错。

这并不总是发生。有时候，这项工作运行良好，而在其他时候，这给了上述信息。我尝试使用命令./stop-all.sh和./start-all.sh重新启动spark。我试着检查它说成功启动的日志。什么可能是这个偶尔的错误信息的问题。它可能与磁盘空间或其他原因有关吗？

谢谢...

Answer 1

这个问题似乎已经出现由于磁盘空间已满的节点。我现在不知道这个错误。清理不需要的文件似乎解决了它的问题。