2014-02-24 35 views
-2

什么时候第一次调用减速机?减速机第一次调用时

  1. Reducer在完成后立即开始从每个映射器复制中间键值对。程序员可以在工作中配置在减速器开始之前中间数据应达到的百分比。
  2. Reducer从完成后立即开始复制每个映射器中的中间键值对。一旦中间键值对开始到达,就会调用Reduce()方法。

哪个说法适用?

回答

2

两个陈述都是假:

减速器尽快开始映射器已经完成了从每个映射器复制中间密钥值对 - 如果5%的(默认情况下,配置mapred.reduce.slowstart.completed.maps) mappers完成。

Reduce()方法在所有映射器完成并且Reducer从Mappers复制并排序(合并)所有数据时被调用。

相关问题