ECOU上的Cloudera CDH

我是aws的新手，我试图通过Cloudera的AMI在EC2上运行Hadoop。我安装的是AMI，下载了Cloudera的-haddop换EC2的工具，而现在我想配置ECOU上的Cloudera CDH

haddop-ec2-env.sh

它要求如下：运行时

AWS_ACCOUNT_ID 
AWS_ACCESS_KEY_ID 
AWS_SECRET_ACCESS_KEY 
EC2_KEYDIR 
PRIVATE_KEY_PATH

：

./hadoop-ec2 launch-cluster my-cluster 10

我越来越

AWS was not able to validate the provided access credentials

首先，我有我自己帐户的前3个属性。这是一个公司帐户，我收到了一封电子邮件，其中包含我的电子邮件的访问密钥ID和密钥。我的帐户可能没有适当的权限来执行此处所需的操作。具体为什么这个脚本需要我的凭据？它需要做什么？

其次，EC2键的目录在哪里？我已经上传了我为我创建的key.pem文件，并将其硬编码到.pem文件中的PRIVATE_KEY_PATH和chmod 400中。这是脚本需要的正确密钥吗？

任何帮助表示赞赏？

山姆

来源

2012-10-01 Sam Hammamy

所以跟踪Hadoop的EC2脚本导致：在** ec2-describe-instances ** bin是引发错误的那个 –

看来EC2_HOME，EC2 USER_ID，EC2_PRIVATE_KEY和EC2_CERT env变量都必须设置，这使我相信这些工具是要从客户端运行的机器，而不是服务器实例。尽管我仍然不知道EC2_CERT的位置，或者EC2_HOME的位置 –

的Cloudera的EC2工具，在很大程度上依赖于在Amazon EC2 API工具。因此，你必须做到以下几点：从http://aws.amazon.com/developertools/351

2）下载Cloudera的EC2工具从http://cloudera-packages.s3.amazonaws.com/cloudera-for-hadoop-on-ec2-0.3.0.tar.gz

1）下载的Amazon EC2 API工具）设置以下ENV变量我只给Unix的基于实例

export EC2_HOME=<path-to-tools-from-step-1> 
export $PATH=$PATH:$EC2_HOME/bin 
export $PATH=$PATH:<path-to-cloudera-ec2-tools>/bin 
export EC2_PRIVATE_KEY=<path-to-private-key.pem> 
export EC2_CERT=<path-to-cert.pem>

4）在Cloudera的-EC2的工具/ bin中设置下列变量

AWS_ACCOUNT_ID=<amazon-acct-id> 
AWS_ACCESS_KEY_ID=<amazon-access-key> 
AWS_SECRET_ACCESS_KEY=<amazon-secret-key> 
EC2_KEYDIR=<dir-where-the-ec2-private-key-and-ec2-cert-are> 
KEY_NAME=<name-of-ec2-private-key>

然后运行

$ hadoop-ec2 launch-cluster my-hadoop-cluster 10

这将创建一个名为 “我的-Hadoop的” Hadoop集群上多EC2机10个节点

来源

2012-10-03 19:52:54

ECOU上的Cloudera CDH

回答

相关问题