可以通过spark-defaults.conf解析环境变量吗？

Question

如果我有类似下面一行在我spark-env.sh文件

export MY_JARS==$(jars=(/my/lib/dir/*.jar); IFS=,; echo "${jars[*]}") 

，给了我一个逗号分隔的jar文件列表中/my/lib/dir，在那里我可以指定

spark.jars $MY_JARS 

在 spark-defaults.conf

的方法吗？

Answer 1

tl; dr不，不能，但是的解决方案。

Spark将conf文件读取为属性文件，无需其他env var替换。

什么，但是你可以做的是使用>>（追加）从spark-env.sh写的计算值MY_JARS直spark-defaults.conf。最后的胜利，所以不用担心可能会有很多类似的条目。

Answer 2

我试过用Spark 1.4，但没有工作。 spark-defaults.conf是一个键/值，看起来代码似乎没有评估值。