实施第三阶段缩小阶段后称为合并

Question

我需要添加第三阶段合并 - 它结合了单独的并行Reduce任务的输出。这使得可以执行诸如连接和构建笛卡尔产品等任何事情。任何人都可以帮助我怎么做？我检查了没有Hadoop 0.21 API来支持他的功能。

Answer 1

Hadoop是一个MapReduce（而不是MapReduceMerge！）框架，这种情况不太可能发生变化。也就是说，你可以提交一份Jira，或致电http://getsatisfaction.com/cloudera/以获得官方立场。

如果你需要加入，你应该试试Pig（我有亲身体验的唯一一个，但也有其他人--Hive，...）。猪让连接非常简单。