驱动程序命令关闭后，Spark工作站停止工作

Question

基本上，主节点也作为从站执行。一旦主设备上的从设备完成，它将调用SparkContext停止，因此该命令会传播到所有在处理过程中停止执行的从设备。

错误日志中的工人之一：

INFO SparkHadoopMapRedUtil：attempt_201612061001_0008_m_000005_18112：承诺

INFO执行人：在阶段8.0成品任务5.0（TID 18112）。 2536个字节结果发送到驾驶员

信息CoarseGrainedExecutorBackend：驱动命令关闭

错误CoarseGrainedExecutorBackend：接收信号TERMtdown

Answer 1

检查你的资源管理器的用户界面，如果你看到任何执行失败 - 它详细介绍关于内存错误。但是，如果执行程序没有失败，但驱动程序仍然要求关闭 - 通常这是由于驱动程序内存造成的，请尝试增加驱动程序内存。让我知道事情的后续。