与LINQ并行csv处理

Question

我有一个函数读取一个csv文件并返回操作（LINQ）结果。我需要打开每个文件两次，因为我需要根据不同的用途对数据进行非常不同的分割，并且使用代码项目中的“快速CSV阅读器”，我使用它的速度更快，可以两次读取，并且每次直接使用LINQ进行操作比将其读入DataTable中。

单独的每个函数调用（imppow或impfuel）都需要超过2秒。

简单的for循环六个电话（需要13secs）：

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" }; 
string[] pathgran = { "M", "Q", "Y" }; 
for (int i=0; i < 3; i++) 
{ 
    var respow = imppow(pathstring[i], pathgran[i]); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(pathstring[i], pathgran[i]); 
    Console.WriteLine(resfuel[0]); 
} 

并行化这样刮胡子了3秒，但不多：

Parallel.For(0, 3, (i) => 
{ 
    var respow = imppow(pathstring[i], pathgran[i]); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(pathstring[i], pathgran[i]); 
    Console.WriteLine(resfuel[0]); 
}); 

至于说一个呼叫大约需要2秒。我可以通过使用多线程还是进一步降低runtim？ 谢谢。

下面的功能之一：

static object[] impfuel(string filepath, string gran) 
{ 
    using (CsvReader csv = 
      new CsvReader(new StreamReader(filepath), true)) 
    { 
     csv.SupportsMultiline = false; 
     var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], fp = r[22], fi = r[24] }) 
         .Where(a => a.rt == "F") 
         .GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt }) 
         .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) }) 
         .ToArray(); 
     return results; 
    } 
} 

static object[] imppow(string filepath, string gran) 
{ 
using (CsvReader csv = 
     new CsvReader(new StreamReader(filepath), true)) 
{ 
    csv.SupportsMultiline = false; 
    var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], rg = r[10], rt = r[11], pp = r[17], pi = r[19] }) 
        .Where(a => a.rt == "M") 
        .GroupBy(a => new { a.rg, a.tar, a.mt }) 
        .Select(g => new { Rpg = g.Select(a => a.rg).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.pp)), SumA = g.Sum(a => double.Parse(a.pi)) }) 
        .ToArray(); 
    return results; 
} 

}

Answer 1

你永远不知道这些文件的大小，它是一个几KB或者在我们谈话兆？ 一次读取文件会限制IO速度慢。

我会在阅读文件时阅读文件，并将其放入两个不同的列表中。

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" }; 
for (int i=0; i < 3; i++) 
{ 
    List<Content> powList = new List<Content>(); 
    List<Content> fuelList = new List<Content>(); 
    ReadFile(pathstring[i], ref powList, ref fuelList); 
    var respow = imppow(powList); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(fuelList); 
    Console.WriteLine(resfuel[0]); 
} 

void ReadFile(string filepath, ref List<Content> powList, ref List<Content> fuelList) 
{ 
    using (CsvReader csv = new CsvReader(new StreamReader(filepath), true)) 
    { 
     csv.SupportsMultiline = false; 
     foreach(Content content in csv.Select(r => new Content(){ yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], pp = r[17], pi = r[19], fp = r[22], fi = r[24] })) 
     { 
      if (content.rt == "F") 
       fuelList.Add(content); 
      else if (content.rt = "M") 
       powList.Add(content); 
     } 
    } 
} 

static object[] impfuel(List<Content> fuelList) 
{ 
    var results = fuelList.GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt }) 
        .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) }) 
        .ToArray(); 
    return results; 
} 

}

您可以imppow和内容类你的自我。