0
我有问题执行以下命令:哪种方法可以更容易地用hadoop和hive设置ec2集群?
sqlContext = HiveContext(sc)
在EC2簇
。它在本地运行良好,但不在集群中运行。
集群成立用下面的命令:Can't seem to build hive for spark
是否安装蜂箱支持:
spark-ec2 -k <your key pair name> -i /path/to/identity-file.pem -r us-west-2 -s 2 --instance-type m3.medium --spark-version 1.5.2 --hadoop-major-version yarn launch <your cluster name>
根据
?我在哪里可以找到配置文件? 无论如何,我是否需要编译spark for hive(-Phive)支持?
的easyest方法是使用qubole。 – leftjoin
您可以使用Apache Ambari,它具有用于hadoop安装的向导。 我从Hortonworks下载并遵循他们的教程。 如果您需要更多帮助,请与我联系。 – belostoky