如何使用Java获取外部网页的XMLHTTPRequest响应文本？

-1

我努力从外部网站解析数据，例如，仅使用Java的stackoverflow.com。要知道这个网页是关于我去Chrome开发工具，发现那里XMLHTTPRequest response与我需要的所有信息！如果它有用，响应具有JSON格式。问题是如何仅使用Java和不使用Servlet来获取这些数据。如何使用Java获取外部网页的XMLHTTPRequest响应文本？

来源

2016-03-17 antongarakh

**我试图使用类似WebDriver的东西，但发现它太难以使用cssSelector或类似这样的**。你究竟打算做什么？你能提供你尝试过的代码示例吗？ – Andersson

我想不管我究竟做了什么。问题是如何得到我需要的所有数据的XMLHTTPRequest响应 – antongarakh

不要试图抓取和解析网页，只需使用StackExchange API和标准Java工具提出请求并获取原始数据。

如果您的实际问题与您直接无关，那么请查找相关网站的API。否则，你将需要通过手动解析网页或在浏览器引擎中运行页面，并在无头引擎中使用标准JS来获取数据，从而逐字地抓取网页。

来源

2016-03-17 19:03:56 Garbee

对我来说，答案是使用Apache HTTPClient，它提供工具来执行所需的请求 – antongarakh

如何使用Java获取外部网页的XMLHTTPRequest响应文本？

回答

相关问题