html scrape in .net

Question

在.net什么是刮取HTML网页的最佳方式。

是否有一些开放源代码运行在.net framework 2上，并将所有html放入对象中。我已阅读“HTML敏捷软件包”，但有没有其他想法？

Answer 1

我觉得HtmlAgilityPack是，但你也可以使用

1. Fizzler结果：C＃
2. SgmlReader CSS选择器引擎：将HTML转换成有效的XML
3. SharpQuery：的替代fizzler

Answer 2

您可以使用Tidy.net，它是Tidy Library的ac＃包装器，用于在此处转换XHTML中的HTML：http://sourceforge.net/projects/tidynet/，这样你就可以获得有效的XML并按照这样处理它。

我会做这样说：

 // don't forget to import TidyNet and System.Xml.Linq 

     var t = new Tidy(); 
     TidyMessageCollection messages = new TidyMessageCollection(); 
     t.Options.Xhtml = true; 

     //extra options if you plan to edit the result by hand 
     t.Options.IndentContent = true; 
     t.Options.SmartIndent = true; 
     t.Options.DropEmptyParas = true; 
     t.Options.DropFontTags = true; 
     t.Options.BreakBeforeBR = true; 




     string sInput = "your html code goes here"; 
     var bytes = System.Text.Encoding.UTF8.GetBytes(sInput); 

     StringBuilder sbOutput = new StringBuilder(); 

     var msIn = new MemoryStream(bytes); 
     var msOut = new MemoryStream(); 

     t.Parse(msIn, msOut, messages); 
     var bytesOut = msOut.ToArray(); 
     string sOut = System.Text.Encoding.UTF8.GetString(bytesOut); 

     XDocument doc = XDocument.Parse(sOut); 

     //process XML as you like 

否则，HTML敏捷包就可以了。