使用Java进行网页抓取

我想将我的大学网站的某些部分显示到我的应用程序中（仅限新闻部分）。网站使用JavaScript开发。告诉我我怎么能做到这一点。我很了解Java。使用Java进行网页抓取

你好。这个网站真的是针对特定的编程问题;如果你想知道如何采取行动的广泛途径，那么使用搜索引擎进行彻底研究是无可替代的。从搜索标题开始 - 会有很多结果。 – halfer

[用Java抓取Web]的可能重复（http://stackoverflow.com/questions/3202305/web-scraping-with-java） – SMUsamaShah

使用jsoup和httpclient这就是你需要

2013-09-26 17:21:01

如果你需要支持javascript，是的HtmlUnit用于模拟浏览器一个很好的解决方案。还有一个框架，允许你使用代理并行下载：https://github.com/subes/invesdwin-webproxy

2017-06-09 19:04:46 subes

回答