2013-04-24 56 views

回答

22

要了解GroupComparator,见我回答这个问题 -

What is the use of grouping comparator in hadoop map reduce

SortComparator:用于定义地图的输出密钥从书Hadoop的分类

节选 - 权威指南:

键的排序顺序如下:

  1. 如果属性mapred.output.key.comparator.class设置,明确地或 呼吁工作setSortComparatorClass(),则使用这个类的一个实例。 (在 旧的API的等效方法是setOutputKeyComparatorClass()JobConf。)

  2. 否则,密钥必须是WritableComparable一个子类,并且使用该注册 比较的键类。

  3. 如果没有注册比较,则RawComparator使用 的字节流进行比较成对象并委托给WritableComparablecompareTo()方法,其反序列化。

SortComparator Vs的GroupComparator在一个班轮: SortComparator决定如何同时GroupComparator决定哪些减速器内的地图输出键转到同一减少方法调用图输出键进行排序。

5

组比较决定哪些地图输出键将以团结(分组)到一个键,,当然值的所有集合也将被分组。通常它只需要第一个键作为摘要收集的唯一键。

SortComparator决定如何将键排序在输入减少。默认情况下它使用自然排序。

相关问题