Hadoop本地模式：映射器和缩减器的数量

Question

我需要在Hadoop本地模式下在我的Mac中创建一些Hadoop MR代码的原型，并且我想听听可能存在的一些问题。

一个特别的问题是关于mappers和reducer的数量。基本上它会成为两者之一？指定多于1可以工作？我将使用较小的样本。

Answer 1

您不能在本地模式下指定mapper和reducer的数量。它始终是单线程的。同时，如果你想分析你的映射器或减速器性能 - 这将是相当现实的。
当所有的deamon在单机上运行时，可以有许多映射器和缩减器的最近模式是伪分布式模式。
以上两种情况都不会考虑数据局部性和混洗性能可能出现的问题。我也不希望你的开发机器具有与生产相同的磁盘子系统..
简而言之 - 如果你在本地模式下具有较低的单映射器/缩减器性能，你可以开始修复它。如果它确实有效 - 在规划群集之前试试真正的硬件。