我有一个爬虫应用程序应该解析页面中的所有项目与分页。不幸的是,我的应用程序抓取的网站使用回传进行分页。如何以编程方式获取第二页的内容以用于C#中的以下URL。模拟ASP.NET回传
我试着沿__VIEWSTATE和__EVENTVALIDATION发布__EVENTTARGET隐藏字段,但它似乎没有工作。
我有一个爬虫应用程序应该解析页面中的所有项目与分页。不幸的是,我的应用程序抓取的网站使用回传进行分页。如何以编程方式获取第二页的内容以用于C#中的以下URL。模拟ASP.NET回传
我试着沿__VIEWSTATE和__EVENTVALIDATION发布__EVENTTARGET隐藏字段,但它似乎没有工作。
您可以使用屏幕抓取技术实现此目的(请参阅HtmlAgilityPack)。这将要求您阅读回复并重新发布表单帖子,以模仿用户在浏览器中执行的操作。简单的请求重播不起作用。
您可能还需要传递__EVENTARGUMENT隐藏字段。并且不要忘记设置name属性,以及id属性。
不好主意......最好找一些其他的方法。 – Aristos