更改CDH中的Python路径pyspark

Question

我需要更改正在与我的CDH5.5.1群集一起使用的python。我的研究指出我在spark-env.sh中设置了PYSPARK_PYTHON。我尝试手动没有成功。然后，我使用Cloudera Manager在“Spark Service Environment高级配置代码段”和“Spark Service高级配置代码段”&中设置了有关引用spark-env-sh的其他地方的变量。这没有奏效，我迷失在下一步。

Answer 1

您需要的PYSPARK_PYTHON变量添加到纱构造： YARN (MR2 Included) Service Environment Advanced Configuration Snippet (Safety Valve) 做到这一点，重新启动群集，你是好去。