字节的空闲内存[]

Question

我目前在c＃中的内存使用量正在挣扎。

我目前正在使用的工具能够上传和下载文件。为此，它使用字节数组作为文件内容的缓冲区。在上传或下载操作后，我可以放弃WebResponse和Stream（+ Reader/Writer）对象，但字节数组永远保持在内存中。它超出了范围，我甚至'空'它，所以我猜垃圾收集从未运行。

在搜索过程中，我发现了很多文章，建议永远不要手动运行GC，但有一个简约的后台应用程序，不断占用100或甚至1000 MB的RAM（使用时间越长，什么都不过分。

那么，如果不推荐使用GC，那么在这种情况下还能做什么呢？

编辑3 /解决方案：我结束了使用从文件I/O填充数据的16kb字节缓冲区。之后，将缓冲区内容写入RequestStream，并采取进一步的操作（更新进度条等）。

编辑2：这似乎与LOH有关。我会在星期五进行测试，然后在这里记录结果。

编辑：这是代码，也许我错过了一个参考？

internal void ThreadRun(object sender, DoWorkEventArgs e) 
    { 
     BackgroundWorker worker = sender as BackgroundWorker; 

     UploadItem current = Upload.GetCurrent(); 

     if (current != null) 
     { 
      string localFilePath = current.src; 
      string fileName = Path.GetFileName(localFilePath); 
      elapsed = 0; 
      progress = 0; 

      try 
      { 
       string keyString = Util.GetRandomString(8); 

       worker.ReportProgress(0, new UploadState(0, 0, 0)); 

       FtpWebRequest req0 = Util.CreateFtpsRequest("ftp://" + m.textBox1.Text + "/" + keyString, m.textBox2.Text, m.textBox3.Text, WebRequestMethods.Ftp.MakeDirectory); 

       req0.GetResponse(); 

       FtpWebRequest req1 = Util.CreateFtpsRequest("ftp://" + m.textBox1.Text + "/" + keyString + "/" + fileName, m.textBox2.Text, m.textBox3.Text, WebRequestMethods.Ftp.UploadFile); 

       worker.ReportProgress(0, new UploadState(1, 0, 0)); 

       byte[] contents = File.ReadAllBytes(localFilePath); 

       worker.ReportProgress(0, new UploadState(2, 0, 0)); 

       req1.ContentLength = contents.Length; 

       Stream reqStream = req1.GetRequestStream(); 

       Stopwatch timer = new Stopwatch(); 
       timer.Start(); 

       if (contents.Length > 100000) 
       { 
        int hundredth = contents.Length/100; 

        for (int i = 0; i < 100; i++) 
        { 
         worker.ReportProgress(i, new UploadState(3, i * hundredth, timer.ElapsedMilliseconds)); 
         reqStream.Write(contents, i * hundredth, i < 99 ? hundredth : contents.Length - (99 * hundredth)); 
        } 
       } 
       else 
       { 
        reqStream.Write(contents, 0, contents.Length); 
        worker.ReportProgress(99, new UploadState(3, contents.Length, timer.ElapsedMilliseconds)); 
       } 

       int contSize = contents.Length; 
       contents = null; 

       reqStream.Close(); 

       FtpWebResponse resp = (FtpWebResponse)req1.GetResponse(); 

       reqStream.Dispose(); 

       if (resp.StatusCode == FtpStatusCode.ClosingData) 
       { 
        FtpWebRequest req2 = Util.CreateFtpsRequest("ftp://" + m.textBox1.Text + "/storedfiles.sfl", m.textBox2.Text, m.textBox3.Text, WebRequestMethods.Ftp.AppendFile); 

        DateTime now = DateTime.Now; 

        byte[] data = Encoding.Unicode.GetBytes(keyString + "/" + fileName + "/" + Util.BytesToText(contSize) + "/" + now.Day + "-" + now.Month + "-" + now.Year + " " + now.Hour + ":" + (now.Minute < 10 ? "0" : "") + now.Minute + "\n"); 

        req2.ContentLength = data.Length; 

        Stream stream2 = req2.GetRequestStream(); 

        stream2.Write(data, 0, data.Length); 
        stream2.Close(); 

        data = null; 

        req2.GetResponse().Dispose(); 
        stream2.Dispose(); 

        worker.ReportProgress(100, new UploadState(4, 0, 0)); 
        e.Result = new UploadResult("Upload successful!", "A link to your file has been copied to the clipboard.", 5000, ("http://" + m.textBox1.Text + "/u/" + m.textBox2.Text + "/" + keyString + "/" + fileName).Replace(" ", "%20")); 
       } 
       else 
       { 
        e.Result = new UploadResult("Error", "An unknown error occurred: " + resp.StatusCode, 5000, ""); 
       } 
      } 
      catch (Exception ex) 
      { 
       e.Result = new UploadResult("Connection failed", "Cannot connect. Maybe your credentials are wrong, your account has been suspended or the server is offline.", 5000, ""); 
       Console.WriteLine(ex.StackTrace); 
      } 
     } 
    } 

Answer 1

核心问题是，您从一个大块中读取文件。如果文件非常大（精确地说大于85,000字节），那么你的字节数组将被存储在LOH（大对象堆）中。

如果您阅读了“大型对象堆”（如果您使用google的话，有大量关于该主题的信息），您会发现GC往往比其他堆收集的GC要少得多地区，更不用说它不会默认压缩内存，这会导致碎片并最终导致“内存不足”异常。在你的情况下，你所要做的就是用较小的块读取和写入字节，使用固定大小的字节数组缓冲区（例如：4096），而不是试图一次读取全部文件。换句话说，你在你的缓冲区中读了几个字节，然后把它们写出来。然后你再读入一些相同的缓冲区，然后再写出来。你一直在循环，直到你读完整个文件。

请参阅：https://msdn.microsoft.com/en-us/library/system.io.filestream.read(v=vs.110).aspx了解如何以较小的块读取文件，而不是使用“File.ReadAllBytes（localFilePath）;”。

通过这样做，您将始终在任何给定时间处理合理数量的字节，以便GC在完成后不会及时收集问题。

Answer 2

只需编写更智能的代码。根本不需要将整个文件加载到一个字节[]中以将其上传到FTP服务器。所有你需要的是一个FileStream。使用它的CopyTo（）方法从FileStream复制到从GetRequestStream（）获得的NetworkStream。

如果你想显示进度，那么你将不得不复制自己，一个4096字节的缓冲区完成工作。粗略地：

using (var fs = File.OpenRead(localFilePath)) { 
    byte[] buffer = new byte[4096]; 
    int total = 0; 
    worker.ReportProgress(0); 
    for(;;) { 
     int read = fs.Read(buffer, 0, buffer.Length); 
     if (read == 0) break; 
      reqStream.Write(buffer, 0, read); 
      total += read; 
      worker.ReportProgress(total * 100/fs.Length); 
     } 
    } 
} 

未经测试，应该在球场。

Answer 3

垃圾收集是大对象不同 - 与.NET框架4.5.1和更新才可用。

该代码将释放大对象堆：

GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce; 
GC.Collect(); 

参见： https://msdn.microsoft.com/en-us/library/system.runtime.gcsettings.largeobjectheapcompactionmode(v=vs.110).aspx?cs-save-lang=1&cs-lang=csharp#code-snippet-2