hdinsight动作安装火花1.2

有谁知道如何创建hdisights动作？我现在正在使用actoinscript来安装spark 1.0.2，但希望在集群上启动1.2.x以获得更多的配置单元支持。我已经阅读Script Action Development with HDInsight，当我尝试通过修改微软提供的actionscript来创建1.2的Spark集群。这样做后，我得到一个错误，火花不理解文件url'wasb：//'，它需要格式为'hdfs：//'。在文章中也谈到Configure the custom components to use WASB和它说：hdinsight动作安装火花1.2

The custom components that you install on the cluster nodes might have a 
default configuration to use HDFS storage. You should change the 
configuration to use Azure Storage Blob (WASB) instead. On a cluster 
re-image, the HDFS file system gets formatted and you would lose any data 
that is stored there. Using WASB instead ensures that your data will be 
retained.

这对我来说似乎是被谈论的是我得到的错误。有谁知道如何编译支持（WASB）的Spark或如何配置它？

来源

2015-02-11 lockwobr

试试下面的PowerShell - 它对我来说工作得很好。您可能需要先更新您的Azure PowerShell库。

New-AzureHDInsightClusterConfig -ClusterSizeInNodes $NumClusterNodes -HeadNodeVMSize $VmSize | 
Set-AzureHDInsightDefaultStorage -StorageAccountName $DefaultStorageAccountFqdn -StorageAccountKey $storageAccountKey -StorageContainerName $hadoopContainer | 
Add-AzureHDInsightScriptAction -Name "Install Spark" -ClusterRoleCollection HeadNode -Uri https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1 | 
New-AzureHDInsightCluster -Credential $HdInsightCreds -Name $clusterName -Location $MyClusterLocation -Version $MyClusterVersion

来源

2015-02-13 14:27:14

这不是我想要的，那个代码会安装spark，是的，但是它安装了1.0.2版本，我想要一个安装1.2.x的脚本。我一直在努力做一个新的脚本来做到这一点，我做了一个，但它不起作用，当你在院子里启动安装的spark代码它不知道什么wasb：//是 – lockwobr 2015-02-13 17:53:54

那么微软为Apache Spark 1.2增加了“支持”。昨天它看起来像。如果您使用HDInsight 3.2的新版本并使用这个new action script，它会为您安装1.2。我正在测试它！

来源

2015-02-19 15:30:15 lockwobr

他们刚刚删除你提到的动作脚本。我前一天检查过它，它可用。不幸的是，*微软*在几个小时前刚刚删除了该脚本，因为它在此时不可用。 – 2015-02-20 08:18:54

是的，这听起来是对的，脚本没有工作。 – lockwobr 2015-02-20 16:26:47

看来他们已经重新启用了脚本，他们可能在以前的版本中遇到了一些问题，这就是为什么他们暂时删除了它。 – 2015-02-27 08:49:34

hdinsight动作安装火花1.2

回答

相关问题