Python流：如何减少到多个输出？（它可能与Java虽然）

Question

我读Hadoop in Action，发现在Java使用MultipleOutputFormat和MultipleOutputs类我们可以减少数据到多个文件，但我不知道如何使用Python streaming实现相同的目的。

例如：

   /out1/part-0000 
mapper -> reducer 
        \ out2/part-0000 

如果有人知道，听说过，做过类似的事情，请让我知道

Answer 1

的Dumbo Feathers，一组Java类与Dumbo一起使用的（一个Python库，可以很容易地为hadoop编写高效的python M/R程序），请在output classes中这样做。

基本上，在你的python dumbo M/R作业中，你输出的是一个包含两个元素的元组的键 - 第一个元素是要输出到的目录的名称，第二个元素是实际的键。然后，您选择的输出类检查元组以查找要使用的输出目录，并使用MultipleOutputFormat写入不同的子目录。

使用dumbo时，由于使用typedbytes作为输出格式，这很容易，但我认为即使您有其他输出格式也应该可行。