1
我使用sc.hadoopConfiguration.set来设置配置。 如何倾倒的配置？无论是打印出来的控制台或甩掉他们提交在Spark中转储hadoop配置
A
回答
2
你可以转储Hadoop的配置，以XML文件（我假设你正在使用的Scala）
val out = new FileOutputStream("conf.xml")
sc.hadoopConfiguration.writeXml(out)
相关问题
- 1. 获取ClassNotFound异常：在Hadoop中转储配置时
- 2. 全局Hadoop配置存储
- 3. 在eclipse中配置hadoop 2.5
- 4. 将Spark和Hadoop配置文件添加到JAR中？
- 5. 是否可以覆盖SPARK中的Hadoop配置？
- 6. Hadoop grep转储sql
- 7. 在StructureMap中转储容器配置
- 8. Hadoop配置
- 9. Hadoop slowstart配置
- 10. Apache Spark配置
- 11. Hadoop的 - 在作业配置
- 12. 在windows上配置Hadoop 1.2.0
- 13. 在Spark Scala中将数据框转换为配置单元表
- 14. 如何在hadoop配置中正确设置s3a配置？
- 15. 中等Hadoop/Spark Cluster管理
- 16. Spark中的Hadoop DistributedCache功能
- 17. Hadoop/Spark中的多线程
- 18. Hadoop配置错误
- 19. Hadoop作业配置
- 20. hadoop flume log4j配置
- 21. Hadoop配置错误
- 22. 无法配置hadoop
- 23. Hadoop机器配置
- 24. Zeppelin和Spark配置
- 25. 在Hadoop 1.2.0中配置作业内存
- 26. 在Hadoop中配置嵌入式Jetty
- 27. 在Apache Spark中设置动态分配？
- 28. 无法在Spark中配置ORC属性
- 29. Hadoop输入拆分转储
- 30. Hadoop配置物理位置