0
Reduce方法处理来自地图的分组数据。但我不知道如何减少任务采取组数据？如果地图输出很多分组数据，那么每个减少任务只读取相同数量的组？什么是机制？hadoop如何减少任务处理地图分组数据
A
回答
0
如何减少任务占用组数据？
据上随机处理，并且排序相
在此phasedData其由映射器发送由密钥（像组由（密钥）），最后它获得密钥，列表<>结果进行分组。结果发送给reducer。如果结果需要发送到不同的减速器，则需要考虑与洗牌和排序阶段不同的阶段。
这个阶段是由Hadoop框架完成的，据我所知你没有任何事情要做或改变这个阶段。
也是我建议看看这个问题What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?
相关问题
- 1. 在hadoop中，如何减少任务从地图任务中拉数据
- 2. Hadoop基础：地图任务映射器的数量减少任务减速器
- 3. 如何处理增量更新在Hadoop的HDFS地图，减少
- 4. 分离Hadoop映射并减少任务
- 5. Hadoop YARN作业在地图0％处减少并减少0％
- 6. 我如何调试Hadoop地图减少
- 7. Hadoop地图减少：算法
- 8. 地图减少没有hadoop
- 9. Hadoop的 - 地图-减少 - java.lang.NoClassDefFoundError
- 10. hadoop - 地图/减少功能
- 11. Hadoop地图/减少链接
- 12. 如何在地图中对数据进行排序减少hadoop？
- 13. Hadoop在地图任务完成前减少
- 14. hadoop-streaming：在待处理状态下减少任务说“没有空间来减少任务”。
- 15. Hadoop减少任务停留在0％
- 16. Apache hadoop map减少任务冻结
- 17. 伪分布式数字地图和减少任务
- 18. 处理小文件映射减少hadoop
- 19. 地图和减少任务的排序
- 20. 从地图处理空效果减少
- 21. 地图中的大数据文件处理减少
- 22. Hadoop Pipes：如何通过大数据记录来映射/减少任务
- 23. Hadoop中 - 地图，减少误差filesplit
- 24. cygwin的hadoop的地图，减少问题
- 25. 在Java中减少地图Hadoop
- 26. 读取Hadoop的地图矩阵减少
- 27. RavenDB地图/按日期分组减少
- 28. CouchDB的地图，减少和分组
- 29. 如何处理地图过程中死亡一个数据节点/减少
- 30. 完成减少任务后Hadoop - 映射任务继续