2015-03-19 16 views
0

我试图在使用oozie ssh动作的纱线群集上一个接一个地运行一组spark应用程序。每当一个特定的火花应用程序开始运行它回来了故障,并抛出的异常是:apache spark异常历史记录已存在

exception in thread "Driver" java.io.IOException : Log directory hdfs://xxx:8020/user/.../applicationHistory/aplication_...._.. already exists! 

在堆栈跟踪,我可以看到后我尽量让SparkContext的实例中,这将引发异常我的应用程序。 Spark没有给出这个特定名称的其他应用程序,所以我不明白这个日志可能已经存在。 有人知道为什么这个应用程序名称已经有一个日志?

回答

0

您只能使用Directory作为日志路径。