在Apache中读取压缩文件（.xz）

Question

我正在尝试使用pig编码使用hadoop-xz编码解压缩.xz文件。

示例代码i是试过，

REGISTER hadoop-xz-1.4.jar 
SET output.compression.enabled true; 
SET output.compression.codec io.sensesecure.hadoop.xz.XZCodec; 

msg = LOAD 'pigtest/newXZ.xz' USING PigStorage(); 
STORE msg INTO 'pigtest/output' USING PigStorage(); 
DUMP msg; 

结果还是以压缩格式。我是否做错了，或者我必须使用XZInputStream里面的猪？

运行环境是HortonWorks沙盒2.2（色相）

Answer 1

取决于你想要做什么。

看起来你想读取一个XZ文件，所以我假设你需要设置输入编解码器而不是输出编解码器。

我不是PIG用户，但从我收集的内容来看，它不能轻松处理自定义压缩（例如Hive和Streaming）。