有什么办法可以创建一个自动缩放的Hadoop Hbase集群

Question

我用我的web服务器的aws autoscaling和hadoop habse集群的Apache whirr。 Apache whirr是否具有自动调节属性。

Answer 1

您可以使用基于容器的框架的Apache Mesos。 Mesos适用于容器（例如docker启动服务）。在mesos中，您可以配置所需的实例数量，配置资源，扩展/缩小等。它还将负责更新过程的维护状态。这是最近发布的hbaseconf 2015，adobe已经开始在生产中使用mesos进行自动缩放。您还可以使用谷歌kuberneetes或马拉松来管理群集和配置。我亲自在本地群集上尝试了这一点。对于上手更多信息，请按照mesos为快速参考这个link

基本介绍及特点[来源：Apache站点]

什么是Mesos？ 分布式系统内核

Mesos使用相同的原理Linux内核，只是在不同的抽象层次上构建的。 Mesos内核在每台机器上运行，并提供API的应用程序（例如Hadoop，Spark，Kafka，Elastic Search），用于整个数据中心和云环境中的资源管理和调度。

项目特点

1. 可扩展性，使用的ZooKeeper
节点
2. 容错复制主机和从机的10,000s
3. 支持Docker容器使用Linux容器
4. 多任务之间的本地隔离资源调度（内存，CPU，磁盘和端口）
5. 用于开发新版本的Java，Python和C++ API rallel应用
6. 的Web UI进行查看群集状态