Zeppelin和Spark配置

我在本地主机上使用Spark（2.1.1）上的Zeppelin（0.7.1），并尝试将一些配置值添加到我运行的作业中。Zeppelin和Spark配置

具体来说，我试图设置elasticsearch-hadoop的es.nodes值。

我试着向解释器配置中添加键值，但没有在sc.getConf中显示。添加到解释器的“args”配置键中，“--conf mykey：myvalue”的值也没有注册。这不是火花解释器配置应该做什么？

2017-06-04 Oren

嗨，你尝试使用'sc.setConf'吗？ https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html#spark-native-cfg – 1ambda

AFAIK Zeppelin自行创建了sparkcontext，我无法在该段落内重新创建它，我可以在手边添加配置标志吗？如果有人有这个工作，请让我知道。 – Oren

显然这是Zeppelin的一个有意改变，不久前实施... 它只允许spark。*属性被委托给SparkConf。我提交了一条评论来改变这一点，因为我认为这是有问题的。 https://github.com/apache/zeppelin/pull/1970

2017-06-04 20:44:03 Oren

回答