使用多个http请求响应

Question

我有一个程序循环遍历应用程序列表。现在

Apps 
-------- 
App1 
App2 
App3 

，为他们每个人，我做一个HTTP请求得到建立的每个应用程序作为XML的列表。

所以请求一样，

http://example.com/getapplist.do?appid=App1 

给我的回应一样，

<appid name="App1"> 
    <buildid BldName="Bld3" Status="Not Ready"></buildid> 
    <buildid BldName="Bld2" Status="Ready"></buildid> 
    <buildid BldName="Bld1" Status="Ready"></buildid> 
</appid> 

现在我得到最高版本号与状态 “就绪”，然后做另一个Web api call like，

http://example.com/getapplist.do?appid=App1&bldid=Bld2 

这给了我一个回应，

<buildinfo appid="App1" buildid="Bld2" value="someinfo"></build> 

我把它们送入内部数据表。但是现在，这个程序需要花费很长时间才能完成（3个小时），因为我有近2000个appids，每个id有2个Web请求。我尝试使用指定here的BackgroundWorker对此问题进行分类。我想将所有来自http响应的信息整理成单个XML，然后使用该XML进行进一步处理。这引发错误，

文件正被另一个进程

所以我的代码看起来像，

if (!backgroundWorker1.IsBusy) 
{ 
    for(int i = 0; i < appList.Count; i++) 
    { 
     BackgroundWorker bgw = new BackgroundWorker(); 
     bgw.WorkerReportsProgress = true; 
     bgw.WorkerSupportsCancellation = true;      
     bgw.DoWork += new DoWorkEventHandler(bgw_DoWork);     
     bgw.ProgressChanged += new ProgressChangedEventHandler(bgw_ProgressChanged); 
     bgw.RunWorkerCompleted += new RunWorkerCompletedEventHandler(bgw_RunWorkerCompleted); 
     //Start The Worker 
     bgw.RunWorkerAsync(); 
    } 
} 

而且DoWork功能选取的变量值，并将其转换为XML 。

我可以通过所有后台工作人员的所有http响应将app- buildinfo详细信息转换为普通文件的最佳方式是什么？

Answer 1

HTTP请求是IO绑定的并且本质上是异步的，没有理由使用后台工作来完成你所需要的。

您可以通过Microsoft.Bcl.Async和HttpClient利用async-await这是在.NET兼容4：

private async Task ProcessAppsAsync(List<string> appList) 
{ 
    var httpClient = new HttpClient(); 

    // This will execute your IO requests concurrently, 
    // no need for extra threads. 
    var appListTasks = appList.Select(app => httpClient.GetAsync(app.Url)).ToList(); 

    // Wait asynchronously for all of them to finish 
    await Task.WhenAll(appListTasks); 

    // process each Task.Result and aggregate them to an xml 
    using (var streamWriter = new StreamWriter(@"PathToFile") 
    { 
     foreach (var appList in appListTasks) 
     { 
      await streamWriter.WriteAsync(appList.Result); 
     } 
    } 
} 

这样，您同时处理所有的请求，一旦他们已经完成了处理来自所有这些结果。

Answer 2

该解决方案通过使用来自WebClient类中的异步方法和使用递减与Interlocked类反和普通lock序列化的结果，文件的书写工作为.NET 2.0及以上。

var writer = XmlWriter.Create(
    new FileStream("api.xml", 
        FileMode.Create)); 
writer.WriteStartElement("apps"); // root element in the xml 
// lock for one write 
object writeLock = new object(); 
// this many calls    
int counter = appList.Count; 

foreach (var app in appList) 
{ 
    var wc = new WebClient(); 

    var url = String.Format(
     "http://example.com/getapplist.do?appid={0}&bldid=Bld2", 
     app); 
    wc.DownloadDataCompleted += (o, args) => 
     { 
      try 
      { 
       var xd = new XmlDocument(); 
       xd.LoadXml(Encoding.UTF8.GetString(args.Result)); 
       lock (writeLock) 
       { 
        xd.WriteContentTo(writer); 
       } 
      } 
      finally 
      { 
       // count down our counter in a thread safe manner 
       if (Interlocked.Decrement(ref counter) == 0) 
       { 
        // this was the last one, close nicely 
        writer.WriteEndElement(); 
        writer.Close(); 
        ((IDisposable) writer).Dispose(); 
       } 
      } 
     }; 
    wc.DownloadDataAsync(
     new Uri(url)); 
}