如何将脚本操作添加到Azure HD Insight群集

Question

我正在使用Powershell创建HD Insight Spark群集，并且希望在使用脚本操作创建群集后配置Spark和Hive配置。我想设置的配置值是

spark.yarn.maxAppAttempts=1 spark.yarn.executor.memoryOverhead = 1152 hive.merge.orcfile.stripe.level = false 请注意，我不想使用Ambari用户界面来设置这些值，我想使用脚本操作。

Answer 1

请参阅https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-linux。

您也可以使用引导程序。请参阅https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap

Answer 2

为了更新hive.merge.orcfile.stripe.level，您可以使用像https://docs.microsoft.com/azure/hdinsight/hdinsight-hadoop-customize-cluster-bootstrap这样的引导脚本。 如果你想更新火花参数你至少有3个选项。首先这些参数可以在你提交spark应用程序时传递。第二你可以使用Ambari UI进行更新，如下所示： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-resource-manager 第三你可以使用脚本动作或仅通过ssh更新spark-defaults.conf到头节点并更新此文件。