我需要在Hive中包含较新的protobuf jar(比2.5.0更新)。无论如何,无论我把jar放在哪里 - 它都会被推到classpath的末尾。我怎样才能确保jar是在Hive类路径的开头?如何在Hive中包含jar(Amazon Hadoop env)
1
A
回答
2
为了你自己的jar添加到蜂房类路径,以便它包含在类路径的开端,而不是由你需要设置以下环境变量一些Hadoop的罐子超载 -
出口HADOOP_USER_CLASSPATH_FIRST =真
这表明HADOOP_CLASSPATH将获得优于普通hadoop罐子的优先级。
在Amazon emr实例中,您可以将其添加到/home/hadoop/conf/hadoop-env.sh,并修改此文件中的类路径。
当你想重载像hadoop一般类路径一样的protobuf这样的jar时,这很有用。
0
你可能会考虑做的另一件事是在你的jar中包含protobuf类。你需要使用程序集插件构建你的jar,这将是这些类。它是一个选项。
相关问题
- 1. Missing Hive Execution Jar Hadoop
- 2. Missing Hive Execution Jar:/usr/local/hadoop/hive/lib/hive-exec-*.jar
- 3. Hadoop Hive - 如何添加jar以用于Hive JDBC客户端?
- 4. Apache Hive如何在Amazon上工作?
- 5. hadoop,如何在尝试运行mapred作业时包含3part jar
- 6. hadoop streaming,使用-libjars包含jar文件
- 7. 如何在Hadoop中只包含案例?
- 8. 如何将ChromeDriver包含在JAR中?
- 9. 如何在Android中包含Spongy Castle JAR?
- 10. BIRT:如何在报告中包含JAR?
- 11. 如何在hadoop中执行hive查询
- 12. 如何在Hadoop Hive中获取子串?
- 13. 使用Groovy在Hadoop流中包含jar文件
- 14. 如何在包含Gradle的JAR中包含单个依赖项?
- 15. 如何在Ant中包含classpath jar到jar中
- 16. 在Project Jar中包含log4j.xml
- 17. 在单个JAR中包含依赖Jar
- 18. 在JAR中包含JAR的类路径
- 19. 在Hadoop Hive中计数
- 20. 如何在maven jar构建过程中包含外部jar?
- 21. 如何在ejb-jar中包含外部jar
- 22. 如何在我自己的项目JAR中包含外部JAR
- 23. 如何在EJB jar文件中包含jar依赖关系?
- 24. Hive(Hadoop)中的COLLECT_SET()
- 25. 如何在Amazon EC2中运行Jar?
- 26. 如何包含不同jar中的DRL?
- 27. 如何在CentOS上安装hive hadoop?
- 28. 如何在Hadoop流媒体作业中包含python包?
- 29. 如何在部署时在独立包中包含jar文件
- 30. 如何在maven中引用hadoop v2.3.0 jar?
嗨你有没有试过用最新的protobuf jar添加jar选项? –
是的。只是添加protobuf 2.6.1,它工作正常 –
然后你可以编辑答案为**添加jar ** –