GZipStream效果

Question

我想将大的UInt16数组保存到文件中。 positionCnt大约是50000，stationCnt大约是2500.直接保存，没有GZipStream，文件大小约为250MB，可以通过外部zip程序压缩到19MB。使用下面的代码文件是507MB。我做错了什么？

GZipStream cmp = new GZipStream(File.Open(cacheFileName, FileMode.Create), CompressionMode.Compress); 
BinaryWriter fs = new BinaryWriter(cmp); 
fs.Write((Int32)(positionCnt * stationCnt)); 
for (int p = 0; p < positionCnt; p++) 
{ 
    for (int s = 0; s < stationCnt; s++) 
    { 
     fs.Write(BoundData[p, s]); 
    } 
} 
fs.Close(); 

Answer 1

不确定你运行的是哪个版本的.NET。在较早的版本中，它使用与您写入的缓冲区大小相同的窗口大小。所以在你的情况下，它会尝试单独压缩每个整数。我在认为他们改变了.NET 4.0，但还没有证实。

在任何情况下，你要做的就是创建一个缓冲流的GZipStream未来是什么：

//创建一个具有64 KB缓冲 的FileStream FS =新的FileStream（文件名，FileMode.Create文件流， FileAccess.Write，FileShare.None，65536）; GZipStream cmp = new GZipStream（fs，CompressionMode.Compress）; ...

GZipStream cmp = new GZipStream(File.Open(cacheFileName, FileMode.Create), CompressionMode.Compress); 
BufferedStream buffStrm = new BufferedStream(cmp, 65536); 
BinaryWriter fs = new BinaryWriter(buffStrm); 

这样，GZipStream在64个字节块获取数据，并能做到压缩的一个更好的工作。

大于64KB的缓冲区不会给你更好的压缩。

Answer 2

无论出于何种原因，在对.Net中的GZip实现进行快速阅读期间，这并不明显，性能对一次写入的数据量非常敏感。我将您的代码与几种写入GZipStream的代码进行了基准测试，发现最有效的版本写入磁盘的时间很长。

权衡在这种情况下的内存，因为你需要转换的short[,]基于步幅byte[]你想：

using (var writer = new GZipStream(File.Create("compressed.gz"), 
            CompressionMode.Compress)) 
{ 
    var bytes = new byte[data.GetLength(1) * 2]; 
    for (int ii = 0; ii < data.GetLength(0); ++ii) 
    { 
     Buffer.BlockCopy(data, bytes.Length * ii, bytes, 0, bytes.Length); 
     writer.Write(bytes, 0, bytes.Length); 
    } 

    // Random data written to every other 4 shorts 
    // 250,000,000 uncompressed.dat 
    // 165,516,035 compressed.gz (1 row strides) 
    // 411,033,852 compressed2.gz (your version) 
}