如何在aws上已经运行的EMR集群上安装Apache钻取

Question

我有一个持久运行的EMR集群。我不想推倒。

如何在aws上已经运行的EMR集群上安装apache drill？

Answer 1

假设您安装了SSM，可以使用ssm.send_command（将命令发送给所有节点）来调用S3脚本，该脚本在正在运行的EMR集群上安装并启动钻取。

Answer 2

在AWS Github https://github.com/awslabs/emr-bootstrap-actions/blob/master/drill/setup_drill上提供了一个ruby脚本，它看上去像应该的工作，假设你已经安装了ruby。我没有看到它无法在现有群集上运行的任何原因。安装了所有选定的EMR组件后，EMR运行引导脚本，应用hadoop用户创建和配置设置。当然，你会在一个新的集群上测试它，所以你不会破坏你的持久集群。

该脚本需要在每个节点上运行，因此您可以scp或将其复制到s3，然后使用aws cli将其复制到每个节点，或使用@fmcmac建议的内容。我在line 38上看到它知道当前节点是否是主节点，因此它具有足够的智能以便正确安装。

它看起来已经更新几年了，所以您需要检查它正在安装的版本&的依赖项版本，并且可能会进行一些调整。它似乎试图从http://getdrill.org/drill/download获得apache-drill-1.0.0.tar.gz，它应该是来自较新站点https://drill.apache.org/download/的v1.12.0，因此至少该部分需要更改。它还会安装Zookeeper来运行Drill，因此如果zookeeper已经存在，Drill将需要作为新的应用程序安装，因此请检查您是否已经在运行Zookeeper，如果尝试在顶部安装，版本兼容性可能会遇到问题仔细检查。另外，EMR集群被拆除，引导脚本&集群配置和“步骤”使得这一点变得简单。开机，运行工作，拆卸。这种方式更便宜。 “集群是牛，而不是宠物”。即使您需要它为分析师工作，也有一些时候它没有被使用，因此会花费您的钱。