HttpWebRequest返回与Web浏览器不同的结果

Question

我正在尝试抓取网站并获取其网页的数据。这一切都进展良好，直到我开始获得不同于来自视图源（我预期的那个）的数据。我正在使用html-agility-pack，但也尝试使用HttpWebRequest，以便更改它的所有标题，但没有运气。由于视图源中的数据，我知道这不是JavaScript技巧。我希望有人对可能的解释或解决方案有一个想法。

Answer 1

有很多因素可能会影响服务器发送给你的html。我建议你使用诸如fiddler之类的工具来更仔细地检查请求标题。

根据我的经验，在这些问题中常见的罪魁祸首是cookies和会话信息作为隐藏字段存储在文档中，并作为请求主体的一部分与每个请求一起发送。