有多个减速器在HDFS中创建多个输出文件

如果我有多个减速器，输出将被保存为多个文件？有多个减速器在HDFS中创建多个输出文件

如果我有job.setNumReduceTasks(4)，输出会写入4个不同的文件吗？

是的，每个减速器一个输出。尝试一次，你会明白 – Chaitanya

在map-reduce作业中，如果设置了4个reducer来实现reducer作业。通过这样做，最终的输出将生成4个部分文件。像部分-R-00001，部分-R-00002，部分-R-00003，部分-R-00004。希望这可以澄清你的疑惑。

2015-08-19 07:58:24

非常感谢解释，所以如果我们有多个减速器，说如果我必须计算一个统一的价值，说一个最大数量，我将如何做到这一点？说如果我有4个减速器，那么输出将是基于分区的不同减速器的4个最大数量？ –

在这种情况下，您为什么需要使用减速机？ Mapper可以处理您的请求。 –

Mapper服务器如何能够整合请求？我们将有多个映射器为一个Job提供服务，这会生成关键值对，聚合发生在哪里？即使我们使用组合器，它也将特定于映射器的输出。这有点混乱，你能否详细说明你的答案？谢谢！ –

回答