将工作提交给YARN集群的正确方式，其中工作依​​赖于外部罐子？

Question

我想了解什么是提交MR（对于基于Spark的Java）作业到YARN集群的正确方法。

考虑以下情况：

使用客户机开发的代码（MR或火花）的工作，并说该代码使用第三方JAR的。现在，当开发人员必须将作业提交给YARN群集时，将作业提交到群集的正确方法是什么，以便没有找到类的运行时异常。由于工作是以jar文件形式提交的，开发人员如何“放置”第三方罐子？

我很难理解这个，谁能帮我理解这一点？

Answer 1

你必须简单地用Gradle或Maven构建一个“fat jar”，它不仅包含你编译的代码，还包含所有的传递依赖。

您可以使用Maven Assembly Plugin或任何Gradle插件，如Shadow Plugin。

这些的输出是你应该提供给​​。