从Apache Commons HTTP请求获取页面内容

Question

因此，我使用Apache Commons HTTP向网页发出请求。我不能为了我的生活找出如何从页面获取实际内容，我只能得到它的标题信息。我如何从中获得实际内容？

这里是我的示例代码：

HttpGet request = new HttpGet("http://URL_HERE/"); 

HttpClient httpClient = new DefaultHttpClient(); 
HttpResponse response = httpClient.execute(request); 

System.out.println("Response: " + response.toString()); 

谢谢！

Answer 1

使用HttpResponse#getEntity()然后HttpEntity#getContent()以获得它作为InputStream。

InputStream input = response.getEntity().getContent(); 
// Read it the usual way. 

注意HttpClient不是Apache Commons一部分。它是Apache HttpComponents的一部分。

Answer 2

response.getEntity(); 

你真想看的Javadoc，为HttpClient的例子说明了如何在响应的所有信息得到：http://hc.apache.org/httpcomponents-client-ga/httpclient/apidocs/index.html

Answer 3

如果你只是想在URL的内容，你可以使用URL API，像这样：

import java.io.IOException; 
import java.net.URL; 
import java.util.Scanner; 

public class URLTest { 
    public static void main(String[] args) throws IOException { 
     URL url = new URL("http://www.google.com.br"); 
     //here you have the input stream, so you can do whatever you want with it! 
     Scanner in = new Scanner(url.openStream()); 
     in.nextLine(); 
    } 
} 

Answer 4

BalusC的评论将工作得很好。 如果您使用4或Apache HttpComponents的新版本，有一个方便的方法，你可以使用，以及： EntityUtils.toString(HttpEntity);

下面是它会看起来像在你的代码：

HttpGet request = new HttpGet("http://URL_HERE/"); 
HttpClient httpClient = new DefaultHttpClient(); 
HttpResponse response = httpClient.execute(request); 
HttpEntity entity = response.getEntity(); 
String entityContents = EntityUtils.toString(entity); 

我希望这对你有帮助。

不知道这是由于不同的版本，但我不得不把它改写这样的：

HttpGet request = new HttpGet("http://URL_HERE/"); 
CloseableHttpClient httpClient = HttpClients.createDefault(); 
HttpResponse response = httpClient.execute(request); 
HttpEntity entity = response.getEntity(); 
String entityContents = EntityUtils.toString(entity);