hadoop map漏油大小和块大小

Question

我只是很好奇，为什么当块大小为128 MB时，hadoop map溢出大小是io.sort.mb是100 MB（默认值）。将它设置为等于块大小是否更有意义，因为映射任务反正会处理那么多数据？当然我明白，在这里可以分配更多的RAM，但是还有什么更多的吗？

Answer 1

io.sort.mb是对内存中的文件进行排序所需的缓冲区内存总量。 作为一个理想的经验法则，它应该始终设置不超过总RAM的70％。 块大小基本上是关于在磁盘中设置文件块大小。您可以很好地将输入拆分与HDFS块大小相关联。

看一看这个帖子得到一个更好的主意

http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201104.mbox/%3CBANLkTinNd=iL9e_fPSW8DAaSyNhQwRdgfw@mail.gmail.com%3E