的Java读取使用URL

Question

网页如何读取相同的URL的翻页

页面的URL包含许多页面，我读使用第一页

URL(url).openStream() 

，但它只是读取第一

页例如这个网站我读的第一页我怎么能读取第二culture.gov.uk/news/news_stories/6832.aspx

Answer 1

下一页将有一些链接。

您可以解析HTML并收集所有链接，然后您可以过滤掉该页面的下一个链接，然后以相同的方式读取它。

Here is the example that will list all the links from given page. - using JSOUP

注：这当然是生病法律为一些网站这样做。

Answer 2

您将需要分页的URL方案。例如，它可以是url + "?page=" + page。这取决于网站。请注意，scraping并不总是legal。