Deflate命令行工具

Question

我正在寻找DEFLATE算法的命令行包装器。

我有一个使用DEFLATE压缩的文件（git blob），我想解压缩它。 gzip命令似乎没有直接使用DEFLATE算法的选项，而不是gzip格式。

理想情况下，我正在寻找一个标准的Unix/Linux工具，可以做到这一点。

编辑：这是输出试图用gzip我的问题时，我得到：

$ cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip 

gzip: stdin: not in gzip format 

Answer 1

更新：马克阿德勒指出，git blob不是原始的DEFLATE流，但zlib流。这些可以通过pigz工具，它自带预包装的几个Linux发行版解压：

$ cat foo.txt 
file foo.txt! 

$ git ls-files -s foo.txt 
100644 7a79fc625cac65001fb127f468847ab93b5f8b19 0 foo.txt 

$ pigz -d < .git/objects/7a/79fc625cac65001fb127f468847ab93b5f8b19 
blob 14file foo.txt! 

我原来的答复，保存历史原因：

如果我的理解中提到的Wikipedia article提示通过Marc van Kempen，您可以直接使用zlib的puff.c。

这是一个小例子：

#include <assert.h> 
#include <string.h> 
#include "puff.h" 

int main(int argc, char **argv) { 
    unsigned char dest[ 5 ]; 
    unsigned long destlen = 4; 
    const unsigned char *source = "\x4B\x2C\x4E\x49\x03\x00"; 
    unsigned long sourcelen = 6;  
    assert(puff(dest, &destlen, source, &sourcelen) == 0); 
    dest[ 4 ] = '\0'; 
    assert(strcmp(dest, "asdf") == 0); 
} 

Answer 2

见http://en.wikipedia.org/wiki/DEFLATE#Encoder_implementations

它列出了一些软件实现，包括gzip的，所以应该工作。你是否尝试在文件上运行gzip？它不会自动识别格式吗？

你怎么知道它是用DEFLATE压缩的？用什么工具压缩文件？

Answer 3

你为什么不只是使用Git的工具来访问数据？这应该能够读取任何git的对象：

git show --pretty=raw <object SHA-1> 

Answer 4

像下面将打印的原始内容，其中包括“$类型$长度\ 0”头：

perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)' \ 
    < .git/objects/27/de0a1dd5a89a94990618632967a1c86a82d577 

Answer 5

下面是一个例子砸开Python中的提交对象：

$ git show 
commit 0972d7651ff85bedf464fba868c2ef434543916a 
# all the junk in my commit... 
$ python 
>>> import zlib 
>>> file = open(".git/objects/09/72d7651ff85bedf464fba868c2ef434543916a") 
>>> data = file.read() 
>>> print data 
# binary garbage 
>>> unzipped_data = zlib.decompress(data) 
>>> print unzipped_data 
# all the junk in my commit! 

什么，你会看到有几乎相同的“git的猫文件-p [散列]”输出，但命令不打印头（”提交'后跟大小内容和一个空字节）。

Answer 6

Python的单行：

$> python -c "import zlib,sys;print \ 
      repr(zlib.decompress(sys.stdin.read()))" < $IN 

Answer 7

这里是红宝石单行（CD的.git /第一和识别路径的任何对象）：

ruby -rzlib -e 'print Zlib::Inflate.new.inflate(STDIN.read)' < ./74/c757240ec596063af8cd273ebd9f67073e1208 

Answer 8

git的目的是通过zlib压缩而不是gzip，因此要么使用zlib进行解压缩，要么使用git命令即git cat-file -p <SHA1>来打印内容。

Answer 9

看起来像马克·阿德勒已经让我们记住，写的一个例子，是如何与执行此操作：http://www.zlib.net/zpipe.c

它编译无非就是gcc -lz并安装zlib的头。我使用git工具将生成的二进制文件复制到我的/usr/local/bin/zpipe。

Answer 10

我厌倦了没有这个很好的解决，所以我把东西在NPM：

https://github.com/jezell/zlibber

现在可以只是管道膨胀/收缩命令。

Answer 11

您可以使用zlib-flate，像这样：

cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 \ 
    | zlib-flate -uncompress; echo 

它的存在，在默认情况下我的机器上，但它的qpdf - tools for and transforming and inspecting PDF files一部分，如果你需要安装它。

我在命令的末尾弹出了一个echo，因为这样更容易读取输出。

Answer 12

您可以使用OpenSSL命令行工具做到这一点：

openssl zlib -d < $IN > $OUT 

不幸的是，至少在Ubuntu中，zlib子命令默认生成配置（--no-zlib--no-zlib-dynamic）禁用，所以你需要编译openssl从源码使用它。但是，例如，它在Arch上默认启用。

编辑：看起来像拱门上不再支持zlib命令。这个答案可能不适用了:(

Answer 13

我发现这个问题有一个bug寻找与在hadoop dfs客户我刚安装的新版本-text实用的变通，该-text工具就像cat，除了如果正在读取的文件被压缩，它会透明地解压缩并输出纯文本（因此名称）。

已发布的答案肯定有帮助，但其中一些在处理Hadoop大小的数量时遇到了一个问题数据 - 它们在解压缩之前将所有内容读入内存中。

所以，这里是我对Perl和Python回答上面的变化没有这样的限制：

的Python：

hadoop fs -cat /path/to/example.deflate | 
    python -c 'import zlib,sys;map(lambda b:sys.stdout.write(zlib.decompress(b)),iter(lambda:sys.stdin.read(4096),""))' 

的Perl：

hadoop fs -cat /path/to/example.deflate | 
    perl -MCompress::Zlib -e 'print uncompress($buf) while sysread(STDIN,$buf,4096)' 

注意使用-cat子命令，而不是-text。这是为了让我的解决方法在修复bug后不会中断。道歉为python版本的可读性。

Answer 14

试试下面的命令：需要

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" | cat - .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip 

没有外部工具。

^{来源：How to uncompress zlib data in UNIX?在UNIX SE}

Answer 15

// save this as deflate.go 

package main 

import (
    "compress/zlib" 
    "io" 
    "os" 
    "flag" 
) 

var infile = flag.String("f", "", "infile") 

func main() { 
    flag.Parse() 
    file, _ := os.Open(*infile) 

    r, err := zlib.NewReader(file) 
    if err != nil { 
     panic(err) 
    } 
    io.Copy(os.Stdout, r) 

    r.Close() 
} 

---

$ go build deflate.go 
$ ./deflate -f .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 

Answer 16

pigz可以做到这一点：

apt-get install pigz 
unpigz -c .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 

Answer 17

const zlib = require("zlib"); 
const adler32 = require("adler32"); 
const data = "hello world~!"; 
const chksum = adler32.sum(new Buffer(data)).toString(16); 
console.log("789c",zlib.deflateRawSync(data).toString("hex"),chksum); 
// or 
console.log(zlib.deflateSync(data).toString("hex")); 

Answer 18

git的对象是zlib的流（不生放气） 。 pigz将使用-dz选项对其进行解压缩。