7
A
回答
13
这取决于很多你的工作,集群的特点和利用:
多少映射插槽将你的工作需要VS最大的地图容量:如果您有滋生的地图任务1000的工作,但总共只有10个地图插槽(这是一个极端的例子),那么尽早启动你的reducer可能会减少执行任务的执行次数。在这种情况下,我会设置你的slowstart为一个很大的值(0.999或1.0)。如果您的映射程序需要完成一个时间,则也是如此 - 让其他人使用这个缩减程序
如果您的群集负载相对较轻(没有争用减速机时隙),并且您的映射器输出的卷数据,那么慢速启动的低值将有助于让您的工作更早完成(同时执行其他地图任务,将地图输出数据移动到减速器)。
可能有更多
相关问题
- 1. Hadoop配置
- 2. Hadoop配置错误
- 3. Hadoop作业配置
- 4. hadoop flume log4j配置
- 5. Hadoop配置错误
- 6. 无法配置hadoop
- 7. Hadoop机器配置
- 8. Hadoop配置物理位置
- 9. Hadoop的 - 在作业配置
- 10. 火花R的Hadoop配置
- 11. 配置HADOOP工作与Javaconfig
- 12. 的Hadoop集群配置
- 13. Hadoop机架感知配置
- 14. Hadoop配置:mapred。* vs mapreduce。*
- 15. 全局Hadoop配置存储
- 16. HBase配置与Hadoop 1.0.3
- 17. hadoop的最佳配置?
- 18. hadoop配置单元问题
- 19. 在windows上配置Hadoop 1.2.0
- 20. 在eclipse中配置hadoop 2.5
- 21. hadoop多公里配置
- 22. 配置Hadoop xml文件
- 23. Hadoop配置getConf()返回null
- 24. Hadoop Mapreduce配置(新API)
- 25. Hadoop HA配置问题
- 26. 的Hadoop和MapReduce配置
- 27. 如何在hadoop配置中正确设置s3a配置?
- 28. 已配置Hadoop但无法从配置单元响应?
- 29. 如何使用Java配置hadoop-core配置客户端
- 30. hadoop配置单元加载错误
尼斯解释 - 这里是[JIRA](https://issues.apache.org/jira/browse/MAPREDUCE-1184)与同更多的讨论。 – 2012-07-07 01:48:26