spark maven jar文件依赖关系

Question

我已经使用Eclipse与Maven，Java和Scala开发了一个简单的Spark应用程序。 在目标文件夹下，Maven install命令创建了两个JAR文件，其中一个名为application.jar，另一个名为application-with-dependencies.jar。我的问题是我应该使用哪个JAR文件将其提交给Spark群集？另外，为什么有两个JAR文件？所谓的文件application.jar是大小的一小部分应用与-dependencies.jar

Answer 1

Maven的平时只生成包含编译的类和资源的JAR文件，但使用一些插件，如maven-assembly-plugin，Maven可以还会生成一个超级jar包，即：一个JAR文件，其中不仅包含您的类和资源，还包含您的项目依赖的库。

没有更多信息application-with-dependencies-jar看起来像那些超级罐子之一。

从spark documentation看起来像是您必须提交给Spark群集的JAR。