如何抓取网页的下一页当它没有显示最大页面

Question

这里是网站（http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=1）我想抓取，我的问题是如何在抓取第一页后去下一页。在这个网站的页面源代码中，它没有显示最大页面，但是我发现它可以达到7000.

这里是我尝试过但代码失败的代码。

Answer 1

你可以做的就是检查当前的网址。当你点击下一个按钮时，URL会改变。 http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=0

2页的URL - -

第1页的URL http://biz.chosun.com/svc/list_in/list.html?catid=1A&pn=2

假设你是最后一页上，如果尝试点击下一步按钮，它会给你同样的URL。

所以，你应该在代码是这样的：

String current_URL = driver.getCurrentUrl(); 
String previous_URL = null; 
while (current_URL != previous_URL) 
{ 
    // perform operations; 
    previous_URL = driver.getCurrentUrl(); 
    // click on next; 
    current_URL = driver.getCurrentUrl(); 
}