中等Hadoop/Spark Cluster管理

Question

请让我知道这个问题是否更适合不同的渠道，但我想知道推荐的工具是什么能够安装，配置和部署hadoop/spark跨越大量的远程服务器。我已经很熟悉如何设置所有的软件，但我正在试图确定我应该开始使用什么，这将使我可以轻松地在大量服务器上进行部署。我已经开始研究配置管理工具（即厨师，傀儡，合理），但是想知道什么是最好的，最便于用户的选择。我也不想使用spark-ec2。我应该创建本地脚本来遍历包含IP的hosts文件吗？我应该使用pssh吗？ PSCP？等等。我希望能够根据需要安装尽可能多的服务器并安装所有的软件。

Answer 1

如果你有一些脚本语言的经验，那么你可以去厨师。配方已经可以用于部署和配置集群，并且很容易开始。

如果你想自己做，那么你可以使用sshxcute java API在远程服务器上运行脚本。您可以在那里建立命令并将它们传递给sshxcute API以部署群集。

Answer 2

查看Apache Ambari。它是集中管理配置，添加新节点，监控集群等的好工具。这将是您最好的选择。