JSoup +链接提取+重定向URL

我的代码适用于大多数情况。网站重定向到新网址时失败。例如网址：http://www.oil-india.com/重定向到http://www.oil-india.com/oilnew/在浏览器中。使用JSoup时，下面的代码无法从原始URL中检索链接。JSoup +链接提取+重定向URL

doc = Jsoup.connect(url).timeout(0).userAgent(USER_AGENT).validateTLSCertificates(false).followRedirects(true).get(); 

Elements subLinks = doc.select("a[href]");

来源

2017-01-25 user2849678

检查的响应代码做你的条件[链接]（http://stackoverflow.com/questions/6467848/how-对获得-HTTP响应代码-FOR-A-URL-中的Java） –

如果你打印出来，你会发现文件，该重定向使用JavaScript实现：

[...] 
window.location.href = '../oilnew/'; 
[...]

您可以手动解析脚本标签，并找到window.location.href无论是检查是否被触发时，加载并提取目标或使用HtmlUnit（尽管速度很慢）可以遵循重定向。

示例代码

String userAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36"; 
String url = "http://www.oil-india.com/"; 

Document doc; 
java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); 

final WebClient webClient = new WebClient(BrowserVersion.CHROME); 
webClient.getOptions().setJavaScriptEnabled(true); 
webClient.getOptions().setRedirectEnabled(true); 

try { 
    url = webClient.getPage(url).getUrl().toString(); // HtmlUnit 
    doc = Jsoup.connect(url).userAgent(userAgent).followRedirects(true).get(); // jsoup 
    System.out.println(doc.toString()); 
} catch (FailingHttpStatusCodeException | IOException e) { 
    e.printStackTrace(); 
}

输出

<a href="#" class="close">Close</a> 
<a href="default.aspx"><img src="oilindia-img/logo.jpg" alt="Oil India" style="height:95px;"></a> 
<a href="screenreader.aspx"><img src="oilindia-img/screen_reader_icon.png" style="vertical-align:middle;" alt="top"><span id="MenuBarTop_link_screenreader" class="link_screenreader">Screen Reader Access</span> </a> 
<a href="javascript:decreaseFontSize();" class="toplink"> <img alt="orange color" src="oilindia-img/a-.png" id="Img1"> </a> 
[...]

来源

2017-01-27 09:03:34

JSoup +链接提取+重定向URL

回答

相关问题