多重火花驱动程序的Java选项提交

Question

我使用的火花提交的bash脚本指定为：

CLUSTER_OPTIONS=" \ 
--master yarn-cluster \ 
--files  file:///${CONF_DIR}/app.conf#app.conf,file:///${CONF_DIR}/log4j-executor.xml#log4j.xml \ 
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.xml" \ 
--driver-java-options '-Dlog4j.configuration=file:log4j.xml -Dconfig.file=app.conf' \ 
--keytab ${KEYTAB} \ 
--principal ${PRINCIPAL} \ 
" 

我发现该应用的conf没有被拾起，因为我收到此错误：

Error: Unrecognized option: -Dconfig.file=file:app.conf' 

我也尝试不同的方式来封装驱动程序的Java选项：

1）

--driver-java-options \"-Dlog4j.configuration=file:log4j.xml -Dconfig.file=app.conf\" \ 

Error: Unrecognized option: -Dconfig.file=file:app.conf" 

2）

--driver-java-options "-Dlog4j.configuration=file:log4j.xml -Dconfig.file=file:transformation.conf" \ 


./start_app.sh: line 30: -Dconfig.file=file:app.conf --keytab /app/conf/keytab/principal.keytab --principal principal : No such file or directory 

我怎么可以指定多个驱动程序的Java选项供我星火应用程序？

N.B.我使用的Spark 1.5.0

Answer 1

尝试使用：

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.xml -Dconfig.file=app.conf" 

在我而言，它的伟大工程沿--files，你用它

您可能需要添加：

--conf "spark.executor.extraJavaOptions=...." 

如果文件是从执行者

希望它能帮助访问， 注册ards