Hadoop集群：更大的节点或更多的节点

Question

一个简单的问题：最好是有更多的节点分割资源或更少的“更强大的”节点？

Answer 1

这是一个可靠性，复制与一般性能的情况。

假设的磁盘，CPU和RAM均匀分布的防空火炮与X_1节点的集群，并与X_2节点的集群，其中X_1 < X_2然后固定数量：

• 如果所有节点熬夜作业运行速度更快X_1
• 如果节点在作业期间死亡，X_2群集上的剩余资源可能会超过X_1群集的剩余资源。如果X_1只有1或2个节点，那么想象一下就比较容易了。在这种情况下，额外网络IO的成本可能会低于资源损失，因此X_2上的作业运行速度可能会更快。如果您的复制因子明显受到集群大小的限制，如果您想要复制3，那么你需要3个节点。

Answer 2

那么我这个简单的问题并不是真的有一个简单的答案:)取决于你的用例。

如果你有一个容易分裂的问题，那么我想有更多的节点应该是要走的路。分而治之基本上。

但是，如果你的问题不容易分裂，那么拥有更少的更强壮的节点是你剩下的唯一选择。

一般来说，Hadoop是针对前一类问题。

我希望这会有所帮助。如果你能给我们更多的细节，我们应该能够更好地帮助我。