0
我在HDInsight上使用Livy将作业提交给Spark群集。我将我的代码写入并编译到JAR中，但它有多个依赖项，其中一些依赖于自定义存储库。如何向Livy提交依赖的JAR？
我该如何让Livy自己解决这些依赖关系？我不想提交一个胖的jar包，因为依赖关系总是在变化，我不喜欢涉及到的ops努力。
A
回答
0
您可能想要通过spark.jars.ivy作为参数。请参阅https://spark.apache.org/docs/latest/configuration.html
您可以通过任何支持李维在/批次POST体：https://github.com/cloudera/livy#post-batches
相关问题
- 1. 的Hadoop - 提交作业，有很多的依赖（jar文件）
- 2. Android jar依赖
- 3. JAR依赖Maven的
- 4. 向pom.xml添加自定义jar（依赖项）依赖项
- 5. jar依赖与提供不工作
- 6. 如何生成依赖库的JAR？
- 7. Maven：如何让jar-with-dependencies排除“提供的”依赖关系？
- 8. 添加JAR依赖
- 9. JAR依赖于maven
- 10. 如何向grails项目添加“非mavenized”jar依赖项
- 11. 如何添加JAR依赖于AAR
- 12. 如何留住JAR依赖使用ProGuard
- 13. 如何创建jar依赖关系？
- 14. 如何在Jboss服务器中提供外部jar依赖项？
- 15. 使用不依赖的Jar
- 16. jar依赖中的Gradle NoClassDefFoundError
- 17. JAR的依赖关系
- 18. Maven不下载作为依赖项提到的jar的依赖关系
- 19. 如何使用依赖于另一个jar的一个jar
- 20. 如何使一个项目的jar依赖于另一个jar
- 21. 如何引用可执行jar中的maven依赖jar包？
- 22. 如何使用Gradle构建依赖于另一个JAR的JAR
- 23. 提交后依赖选择消失
- 24. 提交表单不依赖于URL
- 25. 在单个JAR中包含依赖Jar
- 26. 访问Jar依赖关系
- 27. OSGI包VS JAR依赖
- 28. Java，jar依赖问题
- 29. Gradle Plugin jar依赖关系
- 30. 非jar SVN依赖管理
请问这种解决依赖关系？一世。即如果我提到com.X.Y 0.3，它是否也会添加库中pom.xml中提到的com.X.Y的所有依赖项？ – SiddharthaRT
它的行为与火花行为完全相同。尝试一个spark-submit工作来确定需要传递哪些参数，然后使用Livy进行复制。 – aggFTW