替换默认application.conf文件火花提交

我的代码工作，如：替换默认application.conf文件火花提交

val config = ConfigFactory.load

它在默认情况下得到的键值对从application.conf。然后我使用-Dconfig.file =指向另一个conf文件。

它正常工作，下面的命令：

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar

但现在我需要拆分userconfig.conf 2档。我尝试了下面的命令。它不起作用。

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf,env.conf 
    /home/user-jar-with-dependencies.jar

来源

2016-01-28 Hector

默认情况下，火花会看在defaults.conf但你可以1）使用“特性文件” 2）你可以使用--conf通过个人KEU值属性指定其他文件或3），你可以设置在代码中使用sparkConf对象以编程方式编程配置

这是否有帮助或者您正在寻找akka application.conf文件？

来源

2016-01-28 11:15:47 phact

我没有明白你的意思。我有像（val config = ConfigFactory.load）这样的代码从application.conf中获取k-v对。然后我使用-Dconfig.file =来替换默认的application.conf。现在我想将设置分成2个conf文件。 – Hector

替换默认application.conf文件火花提交

回答

相关问题