C＃通用列表foreach OutofMemoryException

Question

我有一个程序，从数据库中读取约2百万行到列表。 每一行都是包含诸如地理坐标等信息的位置。

一旦数据被添加到我使用foreach循环，抓住坐标创建KML文件列表。当行数很大时，循环会遇到OutOfMemoryException错误（但在其他情况下完美工作）。

如何处理这使程序能够以非常大的数据集的工作有什么建议？ kml库是SharpKML。

我还是C＃的新手，所以请放轻松！

这是循环：

  using (SqlConnection conn = new SqlConnection(connstring)) 
     { 
      conn.Open(); 
      SqlCommand cmd = new SqlCommand(select, conn); 

      using (cmd) 
      { 
       SqlDataReader reader = cmd.ExecuteReader(); 
       while (reader.Read()) 
       { 
        double lat = reader.GetDouble(1); 
        double lon = reader.GetDouble(2); 
        string country = reader.GetString(3); 
        string county = reader.GetString(4); 
        double TIV = reader.GetDouble(5); 
        double cnpshare = reader.GetDouble(6); 
        double locshare = reader.GetDouble(7); 

        //Add results to list 
        results.Add(new data(lat, lon, country, county, TIV, cnpshare, locshare)); 
       } 
       reader.Close(); 
      } 
      conn.Close(); 
     } 

      int count = results.Count(); 
      Console.WriteLine("number of rows in results = " + count.ToString()); 

      //This code segment generates the kml point plot 

      Document doc = new Document(); 
      try 
      { 
       foreach (data l in results) 
       { 
        Point point = new Point(); 
        point.Coordinate = new Vector(l.lat, l.lon); 

        Placemark placemark = new Placemark(); 
        placemark.Geometry = point; 
        placemark.Name = Convert.ToString(l.tiv); 

        doc.AddFeature(placemark); 

       } 
      } 
      catch(OutOfMemoryException e) 
      { 
       throw e; 
      } 

这是在列表

 public class data 
    { 
     public double lat { get; set; } 
     public double lon { get; set; } 
     public string country { get; set; } 
     public string county { get; set; } 
     public double tiv { get; set; } 
     public double cnpshare { get; set; } 
     public double locshare { get; set; } 

     public data(double lat, double lon, string country, string county, double tiv, double cnpshare, 
      double locshare) 
     { 
      this.lat = lat; 
      this.lon = lon; 
      this.country = country; 
      this.county = county; 
      this.tiv = tiv; 
      this.cnpshare = cnpshare; 
      this.locshare = locshare; 
     } 

    } 

Answer 1

如果在与数据库中的数据填充列表中没有大的延迟，你没有用的数据，为什么不立即创建点和地标对象填充列表中提及的问题。代码如下。

var doc = new Document(); 

    using (SqlConnection conn = new SqlConnection(connstring)) 
    { 
     conn.Open(); 
     SqlCommand cmd = new SqlCommand(select, conn); 

     using (cmd) 
     { 
      var reader = cmd.ExecuteReader(); 
      while (reader.Read()) 
      { 
       double lat = reader.GetDouble(1); 
       double lon = reader.GetDouble(2); 
       string country = reader.GetString(3); 
       string county = reader.GetString(4); 
       double TIV = reader.GetDouble(5); 
       double cnpshare = reader.GetDouble(6); 
       double locshare = reader.GetDouble(7); 

       var point = new Point(); 
       point.Coordinate = new Vector(lat , lon); 

       var placemark = new Placemark(); 
       placemark.Geometry = point; 
       placemark.Name = Convert.ToString(TIV); 

       doc.AddFeature(placemark); 

      reader.Close(); 
     } 
     conn.Close(); 
    } 

如果没有很好的理由在内存中检索这么多的数据，请尝试一些延迟加载的方法。

Answer 2

为什么你需要写它之前所有的数据存储uused类？不要将每行添加到列表中，您应该在读取每行时对其进行处理，然后将其忽略。

例如，尝试一起滚动你这样的代码：

Document doc = new Document(); 
while (reader.Read()) 
{ 
    // read from db 
    double lat = reader.GetDouble(1); 
    double lon = reader.GetDouble(2); 
    string country = reader.GetString(3); 
    string county = reader.GetString(4); 
    double TIV = reader.GetDouble(5); 
    double cnpshare = reader.GetDouble(6); 
    double locshare = reader.GetDouble(7); 

    var currentData = new data(lat, lon, country, county, TIV, cnpshare, locshare)); 

    // write to file 
    Point point = new Point(); 
    point.Coordinate = new Vector(currentData.lat, currentData.lon); 

    Placemark placemark = new Placemark(); 
    placemark.Geometry = point; 
    placemark.Name = Convert.ToString(currentData.tiv); 

    doc.AddFeature(placemark); 
} 

如果Document实现理智虽然这只会工作。

Answer 3

奥利弗是对的（来自我的投票）。性能明智，你可以做一些其他的东西。首先不要查询你不打算使用的字段。然后在while语句（？）之前移动所有变量声明（Oliver的代码）。最后，不要等待你的sql server收集并发回所有记录，而是逐步地逐步完成。例如，如果你的记录有一个UID，并且它的命令是这个UID，那么从一个本地C＃变量“var lastID = 0”开始，将你的选择语句改为（pre-format）之类的东西“select top 1000 ...其中UID> lastID“并重复您的查询，直到您得到任何内容或任何内容少于1000条记录。

Answer 4

@drdigit，

我会避免在循环执行查询。一个查询应该始终返回当时所需的数据。在这种情况下，您将有1000个查询返回1000行。或许是为了快速显示第1000行更好，但我不知道这是否会更快，如果你执行环路1000次更快的查询，而不是只是执行一个query.Maybe我错了....

我认为如果在这种情况下有需要，你的方法对于延迟加载是有好处的。