阅读Snappy压缩文件时出错

我正在通过java从本地读取Snappy Compressed file。阅读Snappy压缩文件时出错

File snappyFile = new File(fileName); 
Configuration conf = new Configuration();    
CompressionCodec codec = (CompressionCodec) 
ReflectionUtils.newInstance(SnappyCodec.class, conf); 
FileInputStream is2 = new FileInputStream(snappyFile); 
CompressionInputStream cis = codec.createInputStream(is2); 
BufferedReader cr = new BufferedReader(new InputStreamReader(cis));

我的代码是在ReflectionUtils.newInstance

Exception in thread "main" java.lang.RuntimeException: java.lang.NoSuchMethodException: org.xerial.snappy.SnappyCodec.<init>() 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:128) 
    at org.finra.oats.AWS.AWSnappyRead.run(AWSnappyRead.java:64) 
    at org.finra.oats.AWS.AWSnappyRead.main(AWSnappyRead.java:48) 
Caused by: java.lang.NoSuchMethodException: org.xerial.snappy.SnappyCodec.<init>() 
    at java.lang.Class.getConstructor0(Class.java:2849) 
    at java.lang.Class.getDeclaredConstructor(Class.java:2053) 
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:122) 
    ... 2 more

越来越例外是不是因为版本不匹配的问题。我正在使用snappy 1.1.1.2版本

来源

2015-04-23 salmanbw

从你的问题和提供的statcktrace中，你不是很清楚你想实现什么。你想从文件系统读取一个Snappy压缩文件吗？ – SubOptimal

你应该改说你的问题。似乎您尝试读取Hadoop序列文件。也许这个线程[读写使用Hadoop 2.0 Apis序列文件]（http://stackoverflow.com/questions/16070587）可以帮助你。 – SubOptimal

我已经发布了它[链接]（http://stackoverflow.com/questions/29816067/how-to-read-snappy-compressed-file-from-s3-in-java）。你可以参考链接来得到一个简要的想法。 – salmanbw

要读取和写入Snappy压缩文件，您可以使用提供的SnappyInputStream/SnappyOutputStream类。

String fileName = "foo.snap"; 

// write a snappy compressed file 
try (OutputStream os = new SnappyOutputStream(new FileOutputStream(fileName))) { 
    os.write("Hello Snappy-World".getBytes(Charset.defaultCharset())); 
} 

// read a snappy compressed file 
try (InputStream is = new SnappyInputStream(new FileInputStream(fileName))) { 
    byte[] bytes = new byte[100]; 
    is.read(bytes); 
    System.out.println(new String(bytes, Charset.defaultCharset())); 
} 

// check if the file is compressed with the snappy algorithm 
try (InputStream is = new FileInputStream(fileName)) { 
    SnappyCodec readHeader = SnappyCodec.readHeader(is); 
    if (readHeader.isValidMagicHeader()) { 
     System.out.println("is a Snappy compressed file"); 
     System.out.printf("%s: %d%n%s: %d%n", 
       "compatible version", readHeader.compatibleVersion, 
       "version", readHeader.version 
     ); 
    } else { 
     System.out.println("is not a Snappy compressed file");     
    } 
}

来源

2015-04-23 11:30:51 SubOptimal

是SubOptimal，我想从文件系统读取一个Snappy压缩文件。我试过你的代码，但我得到这个错误。 java.io.IOException：FAILED_TO_UNCOMPRESS（5） at org.xerial.snappy.SnappyNative.throw_error（SnappyNative.java:84） – salmanbw

@ user3375762可能是不同的原因。该文件未用Snappy压缩或已损坏。你能发送前16个字节的hexdump吗？ – SubOptimal

@ user3375762这看起来不像一个活泼的压缩文件。快速压缩文件的魔头被定义为：MAGIC_HEADER = new byte [] {-126，'S'，'N'，'A'，'P'，'P'，'Y'，0};' – SubOptimal

阅读Snappy压缩文件时出错

回答

相关问题