是否可以使lzw压缩/解压缩并行？

Question

我已阅读this article关于如何使用LZW压缩/解压数据，但我正在寻找使它使用多线程......但我认为这是不可能的。你怎么看？关于这个问题的任何文章或文章？甚至暗示如何去做。

Answer 1

您可能想要阅读this paper，特别是第2.2节解释了如何并行化LZW方案。

Answer 2

在低级别并行压缩算法将提供有限的加速并可能比它的价值更麻烦。原因是真正的好处是压缩大量数据。在这种情况下，简单地将数据拆分成小块并用普通算法单独压缩它们就容易得多。

LZW是旧的，不是很有效。其他方法可以更快，更有效地进行压缩。您可以查看lz4至zlib至lzma至ppmd，paq等等的各种方案，顺序从最快的压缩最小到最慢的压缩。并行化的一个例子是pigz，它使用zlib将大文件压缩到gzip format，使用尽可能多的处理器和核心。它以并行方式提供前一个块到后续块的历史记录，与串行单处理器gzip压缩相比，不会失去压缩效率。