Amazon EMR上的sqoop安装

我试图按照Kyle Mulka的博客“http://blog.kylemulka.com/2012/04/how-to-install-sqoop-on-amazon-elastic-map-reduce-emr/#comments”中所述的步骤在Amazon EMR群集上安装Sqoop。Amazon EMR上的sqoop安装

将所需文件上传到S3位置后，我尝试通过CLI运行以下EMR作业。

./elastic-mapreduce --create --name SQOOP-INSTALL --jar s3://<YOUR-REGION>.elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOUR-BUCKET>/sqoop-install/install_sqoop.sh。

我可以看到名为SQOOP-INSTALL的EMR作业正在群集上运行，但是一段时间后，作业自动取消。我尝试通过在EMR作业运行期间生成的日志，但没有错误消息。另外，生成的日志没有提供有关工作流程的足够信息。

请求您帮助我在EMR群集上安装SQOOP。

在此先感谢。

阿维纳什

来源

2013-11-04 Avinash

做大量的试验和错误后，我就知道，我是面临的一些问题。以下是您在VPC中运行作业时需要执行的必要步骤。 1.如下创建作业添加子网 {./elasticmapreduce --create --submet <YOUR-SUBNETID} 这将在emr集群上创建作业。 2.获取作业ID，然后将所创建的作业添加工序

./elastic-mapreduce -j <JOBFLOW-ID --jar s3://elasticmapreduce/libs/script-runner/script-runner.jar --arg s3://<YOURBUCKET>/install-sqoop.sh

希望这将有助于那些谁是面临着这样那样的问题

来源

2013-11-05 12:52:34 Avinash

Amazon EMR上的sqoop安装

回答

相关问题