Q

在Hadoop/PIG中压缩/解压gzip数据是否透明？

2012-03-27 164 views 1 likes

1

我在某处读到Hadoop有一个内置的压缩和解压缩支持，但我想它是关于映射器输出（通过设置一些属性）？在Hadoop/PIG中压缩/解压gzip数据是否透明？

我想知道是否有任何特定的PIG加载/存储功能可用于读取压缩数据或以压缩格式输出数据？

2012-03-27 kee

A

回答

6

的PigStorage通过检查文件名处理压缩输入：

*操作.bz2/* .BZ - org.apache.pig.bzip2r.Bzip2TextInputFormat
一切其他人使用org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigTextInputFormat - 这扩展o.a.h.mapreduce.TextinputFormat可以。广州和敏捷的处理文件如果你有编解码器安装

输出通过一些属性来处理：

output.compression.enabled - 真/假
output.compression.codec - 要使用的编解码器的类名（org.apache.hadoop.io.compress.GzipCodec gzip的）

如果你觉得到它，通过PigStorage.java挖掘可能感兴趣的你

2012-03-27 20:36:41

+0

http://my.safaribooksonline.com/book/-/9781449317881/8dot-making-pig-fly/id2907215也给出了一些关于中间压缩的更多细节 – 2012-03-27 20:37:52

相关问题

11. GZIP压缩和解压缩问题
12. SQL CLR函数解压缩GZip数据
13. 的Python zlib的解压缩gzip压缩数据
14. GZIP串压缩不解压“£”字符
15. 在Erlang中解压压缩的数据
16. 为silverlight解压缩gzip流
17. 解压缩gzip http请求
18. 解压缩gzip http响应
19. node.js gzip解压缩xmlhttprequesr.responseText
20. 如何在内存中解压缩GZip压缩文件？
21. AppEngine gzip压缩
22. TYPO3 gzip压缩
23. javascript gzip压缩
24. gzip压缩
25. WP8 Gzip压缩
26. 在Qt中解压缩Gzip网络流
27. 在Vim中解压缩gzip http响应
28. 在JavaScript中解压缩Gzip缓冲区
29. 在Dynamics AX X ++中解压缩GZip流
30. 在解析中Gzip压缩PDF文件