Apache Spark Jobc完成但hadoop作业仍在运行

我正在Hadoop旁边运行一个大型的Spark作业（大约20TB存储到HDFS）。 Spark控制台显示作业已完成，但Hadoop仍在运行作业，无论是在控制台还是日志仍在吐出“正在运行”。Apache Spark Jobc完成但hadoop作业仍在运行

我应该等多久，直到我应该担心？

您运行的火花从文件系统流的工作，或者你正在运行的火花核心 –

星火核心 - 数据从一个S3桶到来。 Spark作业在6小时前完成，但hadoop作业仍在运行并写入HDFS –

您可以尝试干净地停止火花上下文。如果你没有关闭它，在作业结束时添加一个sparkcontext停止方法。例如

sc.stop()

2017-08-19 15:47:58 boottp

回答