2017-01-23 23 views
3

异常“主要”无法即使是在线程指定-Djava.library.path =/*/*/

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:65) 
at org.apache.hadoop.io.compress.SnappyCodec.getDecompressorType(SnappyCodec.java:193) 
at org.apache.hadoop.io.compress.CodecPool.getDecompressor(CodecPool.java:178) 
at org.apache.hadoop.io.compress.CompressionCodec$Util.createInputStreamWithCodecPool(CompressionCodec.java:157) 
at org.apache.hadoop.io.compress.SnappyCodec.createInputStream(SnappyCodec.java:164) 

我可以看到活泼库已正确安装后解压缩文件的瞬间。我已经提到使用-Djava.library.path的lib路径,仍然导致相同的错误。

有什么建议吗?

hadoop checknative -a 

机库检查:

hadoop: true /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hadoop/lib/native/libhadoop.so.1.0.0 
zlib: true /lib64/libz.so.1 
snappy: true /opt/cloudera/parcels/CDH-5.7.1-1.cdh5.7.1.p0.11/lib/hadoop/lib/native/libsnappy.so.1 
lz4:  true revision:10301 
bzip2: true /lib64/libbz2.so.1 
openssl: true /usr/lib64/libcrypto.so 

回答

0

问题已解决。

我在我的类路径中使用了错误版本的hadoop-core jar文件。

修改为使用hadoop核心jar的当前CDH版本后,能够执行快速的压缩和解压缩。

相关问题