如何配置Avro MapReduce作业将结果输出到单个文件？

Question

我有一个三节点群集，当Avro作业完成时，它会创建三个输出文件（分割文件），但是，我只想输出一个文件。有什么建议么？

Answer 1

设置mapred.reduce.tasks = 1，但这可能会增加执行时间。

您也可以在作业结束后使用hadoop -getmerge命令获取单个文件。