在PIG中合并零件文件

我们如何合并这些n个零件文件（来自猪操作的输出文件）。我必须将这些文件合并为一个，然后将其用作配置单元中的输入。我尝试使用-cat和-getmerge，但没有运气。任何建议都会有帮助。在PIG中合并零件文件

感谢

2017-01-25 Purva Sharma

可能重复[如何使用加载命令加载文件夹中的多个文本文件？]（http://stackoverflow.com/questions/23622288/how-to-load-multiple-text-files-in-一个文件夹合猪使用的负载命令） –

Hadoop的FileUtil类有一个copyMerge方法，处理得非常好多个零件文件的问题。

它会将您提供的文件夹中的所有文件（尽管不会递归地查看）并将它们连接在一起以生成单个文件。

来源

2017-01-25 13:26:08

您可以在下面的方式指定文件

A = LOAD '/hdfs/OUTPUT/ReliableProducts-r-*' using PigStorage('\t') as (Sid:int,Sname:chararray,Ttrading:chararray,Sloc:chararray,OBal:int,CBal:int,Frate:int);

希望这有助于！

来源

2017-01-25 09:41:09 Bhavesh

在PIG中合并零件文件

回答

相关问题