使用java从网页中提取HTML内容

我正在尝试使用JAVA提取网页的HTML内容。但问题是我正在尝试加载的页面，如果用户向下滚动，则会不断扩大。所以我的代码只能提取第一次加载的页面。我如何提取通常在用户向下滚动时生成的HTML代码的其余部分。使用java从网页中提取HTML内容

你可以发布你尝试点击的URL吗？这可能是理解传递给AJAX调用的参数的问题。 – orangepips

@orangepips我想要获取9gag.com的内容。只是为了学习:) – user1019083

打开萤火虫或铬开发工具。看看网络标签。当你向下滚动ajax时，将会进行呼叫。注意这个URL和params。 YOu将手动调用相应的url（ajax url）并解析可能是或不可以是html的响应。

2012-06-27 16:29:35 dm03514

是的，我发现，谢谢:)但我发现的问题是这个网站，不断更新这些链接:( – user1019083

将无法与POST –

@TasawerKhan什么不适用于POST？ – dm03514

回答