将HBase和MapReduce进程集中在同一个集群中

Question

为什么通常不推荐将HBase和MapReduce进程同时集中在同一集群中？

Answer 1

底层问题是分析IO，特别是读取操作，可以以全带宽运行磁盘。需要共享该带宽的HDFS可能会受到影响;您的SLA在响应方面遇到了麻烦。

你可以做的是有一个单一的HDFS集群，分析和HBase的分裂之间

1. 不要运行在一个机架上YARN Nodemanagers;将它专用于HBase
2. 在任何地方都可以运行RM，但使用YARN标签可以将hbase节点与分析工作负载可以使用的节点区分开来;将标签附加到队列中，以便大多数工作不会在HBase节点上运行。

第二个选项是我们在使用Apache Slider（孵化）在YARN群集中部署HBase时的操作。您标记事物以便HBase节点独占使用这些机器。即使在那里，远程网络IO仍然可能最终要求从这些服务器上获取数据，但是YARN布置调度程序总是尽量避免以这种方式进行调度工作，所以它要少得多。