如何下载无限滚动网页

Question

使用WebClient.DownloadString方法，将普通网页源代码加载到字符串非常简单。

但是，当您向下滚动到结束时，是否有任何简单的方法来加载那些扩展和加载新内容的页面？

Answer 1

你不能“下载”这样一个页面，因为它不以完整形式存在。这些页面需要用户交互。

您可以使用WebBrowser控件的其中一种形式浏览并以编程方式与网站进行交互。

Answer 2

嘿，你可以，如果你想这样做的WebClient这里试试这个办法.. See ..基本上他使用scrapy但是这种方法可以在Web客户端的情况下我想是这样被采用。

基本上他使用firebug或chrome开发者工具为了在知道web请求后跟踪ajax web请求，您可以使用webclient获取内容。