2
我知道每个映射器都将其中间数据写入磁盘，然后减速器将其输出转储到磁盘。在mapreduce作业期间有没有其他时间数据可能泄漏到磁盘上？即使它不在典型的工作中，我也在寻找任何可能的时间。在mapreduce作业中，何时将数据写入磁盘？
A
回答
1
MR从HDFS获取输入，每个map任务处理它，保存在内存中，如果超过默认的100MB（io.sort.mb），则将其分割到磁盘。然后reducer将结果输出到HDFS而不是磁盘。有关详情，请链接，
1
相关问题
- 1. 以磁盘友好的方式将数据写入磁盘？
- 2. Python何时将文件写入磁盘？
- 3. 如何在VBScript中将二进制数据写入磁盘？
- 4. 将大数据结构作为EDN写入clojure中的磁盘
- 5. PHP error_log（）在cron作业中不写入磁盘
- 6. python dumbdbm，数据何时写回磁盘？
- 7. 在VB.NET中将图标写入磁盘
- 8. 将PFObject写入磁盘
- 9. 将HDFS数据写入外部磁盘/磁带
- 10. 如何有效地将传入数据写入磁盘？
- 11. 写入磁盘回调的数据
- 12. 如何将XPerf写入备用磁盘
- 13. 将reg文件传递给regedit而不写入磁盘（以避免将解密数据写入磁盘）
- 14. NSUserDefaults写入磁盘？
- 15. 当我禁用数据存储写入时，如何启动Mapreduce作业？
- 16. 使用最少磁盘操作的大数据 - MapReduce
- 17. 如何在Python中以UTF-8编码方式将数据写入磁盘？
- 18. 如何将Python /文件数据存储在内存中，直到写入磁盘？
- 19. 如何分配磁盘中的文件来写入数据C++
- 20. 如何在磁盘上写入FileContentResult？
- 21. 将大型数据集摘要写入磁盘
- 22. 将数据流写入磁盘的最快方法
- 23. 将R数据帧转换为H2O帧而不写入磁盘
- 24. 要求Windows将数据写入磁盘的不同方法
- 25. 挂钩磁盘写入操作？ Win32/64
- 26. 在Linux中拦截磁盘写入
- 27. 不写入磁盘时，有可能丢失数据吗？
- 28. WordPress无法将文件写入磁盘
- 29. 将结构和类写入磁盘
- 30. 强制将文件写入磁盘