如何通过servlet获取网页浏览器上的html代码？

Question

我需要使用JSoup获取html。

我现在有：

Document doc = Jsoup 
       .connect("http://~~~") 
       .get(); 

问题：动态网站，网络延迟加载图片，嵌套的框架。

我无法获得所有资源，html代码。 当我通过jsoup连接到该网站时，该网站代码&资源& html不完整。

前）延迟加载图片：未完成代码 - > ~~/white.png 改为完成的代码 - > something.png

如何才能完成的HTML代码，看起来像在Web浏览器。 有人提到使用httpClient库。但我不知道该怎么办。

Answer 1

您是否尝试过使用HtmlUnit framework呢？ HtmlUnit更适合于Web应用程序单元测试自动化，并且JSoup更适合Web Scraping。

在此请看：http://htmlunit.sourceforge.net/gettingStarted.html