用分页刮去ASP.NET网站

Question

我想抓一个基本的asp.net目录网站，它有分页。

该网站有超过50个页面，每页最多可包含10个分页链接。

我使用fiddler来帮助复制使用浏览器发布的所有参数，变量，表单域，cookie等。我在两个帖子之间看到的唯一区别是__EVENTVALIDATION值。

使用HttpWebRequest我总是有相同的价值，而通过浏览器更改每次点击。

使用HttpWebRequest我正确地获得了10个第一页，但接下来的所有页面都将我重定向到主页。贝娄发布的JavaScript后面的第一个10后的链接总是相同的。

javascript:__doPostBack('CT_Main_2$gvDirectorySearch$ctl53$ctl00$ctl11','') 

任何想法为什么__EVENTVALIDATION不会改变HttpWebRequest？

Answer 1

从你的描述，这听起来像一个anti-forgery token，一个anti-forgery token用于防止cross-site request forgery (XSRF)攻击..

对于网站采取的防伪标记的优势，它通常会设置在客户端的浏览器中的cookie ，并且它将期望与正在发布的表单中的参数非常相似。

为了克服它，您需要发送服务器在后续请求中设置的令牌，您还需要扫描HTML表单以获得相同的标记并将其包含在内。

---

编辑

所以我挖得更深一些，并创建了一个ASP.NET WebForms的网站，并试图复制你的问题，但不能......对每个请求我设法提取__EVENTVALIDATION领域。

不过，这里是我的代码，如果你发现任何有用...

void Main() 
{ 
    string eventValidationToken = string.Empty; 

    var firstResponse = this.Get(@"http://localhost:7428/Account/Login"); 

    firstResponse.FormValues["ctl00$MainContent$Email"] = "email@example.com"; 
    firstResponse.FormValues["ctl00$MainContent$Password"] = "password"; 

    string secondRequestPostdata = firstResponse.ToString(); 
    var secondResponse = this.Post(@"http://localhost:7428/Account/Login", secondRequestPostdata); 

    Console.WriteLine (firstResponse.FormValues["__EVENTVALIDATION"]); 
    Console.WriteLine (secondResponse.FormValues["__EVENTVALIDATION"]); 
} 


public FormData Get(string uri) 
{ 
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://localhost:7428/Account/Login"); 
    using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
    using (Stream stream = response.GetResponseStream()) 
    using (StreamReader reader = new StreamReader(stream)) 
    { 
     return new FormData(reader.ReadToEnd()); 
    } 
} 

public FormData Post(string uri, string postContent) 
{ 
    byte[] formBytes = Encoding.UTF8.GetBytes(postContent); 

    var request = (HttpWebRequest)WebRequest.Create("http://localhost:7428/Account/Login"); 
    request.Method = "POST"; 
    request.ContentType = "application/x-www-form-urlencoded"; 
    request.ContentLength = formBytes.Length; 

    using (Stream stream = request.GetRequestStream()) 
    { 
     stream.Write(formBytes, 0, formBytes.Length); 
    } 

    using (HttpWebResponse response = (HttpWebResponse)request.GetResponse()) 
    using (Stream stream = response.GetResponseStream()) 
    using (StreamReader reader = new StreamReader(stream)) 
    { 
     return new FormData(reader.ReadToEnd()); 
    } 
} 

public class FormData 
{ 
    public FormData(string html) 
    { 
     this.Html = html; 

     this.FormValues = new Dictionary<string, string>(); 
     this.FormValues["__EVENTTARGET"]    = this.Extract(@"__EVENTTARGET"); 
     this.FormValues["__EVENTARGUMENT"]    = this.Extract(@"__EVENTARGUMENT"); 
     this.FormValues["__VIEWSTATE"]     = this.Extract(@"__VIEWSTATE"); 
     this.FormValues["__VIEWSTATEGENERATOR"]   = this.Extract(@"__VIEWSTATEGENERATOR"); 
     this.FormValues["__EVENTVALIDATION"]   = this.Extract(@"__EVENTVALIDATION"); 
     this.FormValues["ctl00$MainContent$Email"]  = string.Empty; 
     this.FormValues["ctl00$MainContent$Password"] = string.Empty; 
     this.FormValues["ctl00$MainContent$ctl05"]  = "Log in"; 
    } 

    public string Html { get; set; } 

    private string Extract(string id) 
    { 
     return Regex.Match(this.Html, @"id=""" + id + @""" value=""([^""]*)") 
        .Groups[1] 
        .Value; 
    } 

    public Dictionary<string, string> FormValues { get;set; } 

    public override string ToString() 
    { 
     var formData = this.FormValues.Select(form => HttpUtility.UrlEncode(form.Key) + "=" + HttpUtility.UrlEncode(form.Value)); 

     return string.Join("&", formData); 
    } 
}