分选比较器和组比较器在Hadoop中有什么区别?Hadoop中的Sort Comparator和Group Comparator之间有什么区别?
12
A
回答
22
要了解GroupComparator,见我回答这个问题 -
What is the use of grouping comparator in hadoop map reduce
SortComparator:用于定义地图的输出密钥从书Hadoop的分类
节选 - 权威指南:
键的排序顺序如下:
如果属性
mapred.output.key.comparator.class
设置,明确地或 呼吁工作setSortComparatorClass()
,则使用这个类的一个实例。 (在 旧的API的等效方法是setOutputKeyComparatorClass()
上JobConf
。)否则,密钥必须是
WritableComparable
一个子类,并且使用该注册 比较的键类。如果没有注册比较,则
RawComparator
使用 的字节流进行比较成对象并委托给WritableComparable
的compareTo()
方法,其反序列化。
SortComparator Vs的GroupComparator在一个班轮: SortComparator
决定如何同时GroupComparator
决定哪些减速器内的地图输出键转到同一减少方法调用图输出键进行排序。
5
组比较决定哪些地图输出键将以团结(分组)到一个键,,当然值的所有集合也将被分组。通常它只需要第一个键作为摘要收集的唯一键。
SortComparator决定如何将键排序在输入减少。默认情况下它使用自然排序。
相关问题
- 1. 什么是cairngorm“Comparator”
- 2. Comparator与包装类有什么不同?
- 3. find({},{sort:...})和find()。sort(...)之间的区别是什么?
- 4. JavaBeans Comparator/Diff
- 5. 在Slack API中,im,mpim和group之间有什么区别?
- 6. spark.jars和spark.driver.extraClassPath之间有什么区别
- 7. NameNode和NameSpace之间有什么区别
- 8. apache hadoop和cloudera hadoop之间的区别是什么
- 9. .group {}和.group a之间的区别{}
- 10. `hadoop dfs`和`hadoop fs`之间的区别
- 11. Collections.sort()适用于Comparable或Comparator?
- 12. #{cc.foo}和#{cc.attrs.foo}之间有什么区别?
- 13. undefined和null之间有什么区别?
- 14. Go和=之间有什么区别?
- 15. bundle.setup和bundle.require之间有什么区别
- 16. url.getFile()和getpath()之间有什么区别?
- 17. $ .cache和$ .data之间有什么区别?
- 18. System.Workflow.ComponentModel.activity和System.activities.activity之间有什么区别
- 19. Microsoft.CompilerServices.AsyncTargetingPack和Microsoft.Bcl.Async之间有什么区别?
- 20. gets()和getc()之间有什么区别?
- 21. {0}和+之间有什么区别?
- 22. Java:Selector.keys()和Selector.selectedKeys()之间有什么区别?
- 23. ReferenceField和GenericReferenceField之间有什么区别?
- 24. UIModalTransitionStyle和UIModalPresentationStyle之间有什么区别?
- 25. @dynamic和@synthesize之间有什么区别?
- 26. android:和android之间有什么区别:
- 27. 10.1.8.09和10.1.8.9之间有什么区别?
- 28. $ {}和#{}之间有什么区别?
- 29. vbNullString和“”之间有什么区别吗?
- 30. ||之间有什么区别?和|在R?