如何获取模仿桌面设备的HTML页面？

Question

我想解析一个HTML页面在我的应用程序，但我得到的页面的移动版本没有我需要的块。有什么办法可以获得桌面版的页面吗？

Answer 1

您应该为您的请求设置标题。我想，你应该设置User-Agent头来获得完整版本。

例如，如果使用HTTPGET比：

DefaultHttpClient httpClient = new DefaultHttpClient(); 
final HttpParams httpParameters = httpClient.getParams(); 

HttpConnectionParams.setConnectionTimeout(httpParameters, 8 * 1000); 
HttpConnectionParams.setSoTimeout(httpParameters, 8 * 1000); 

HttpGet httpGet = new HttpGet(url); 
httpGet.addHeader("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0");  

Answer 2

你是如何试图下载的html页面？我正在用某种webview进行猜测。

，如果你下载这个样子，它应该有桌面版的全部内容：

URL url = new URL("https://stackoverflow.com/questions/1381617"); 
URLConnection con = url.openConnection(); 
Reader r = new InputStreamReader(con.getInputStream(), Charset.forName("UTF-8")); 
StringBuilder b = new StringBuilder(); 
while (true) { 
    int ch = r.read(); 
    if (ch < 0) 
    break; 
    b.append((char) ch); 
} 
String s = b.toString(); 

从Simplest way to correctly load html from web page into a string in Java