2017-06-06 30 views
0

我试图从https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine
解析空缺,但我不明白什么execept纯文本,如“招聘人数全球/英五金/德语Россия/Русский”
的问题是当你加载一个页面 - 浏览器运行一个脚本,加载一些空缺,但我怎么能不支持JSOUP不能“模拟”浏览器并运行脚本。我试过HtmlUnit,但它也没有做任何事情。
问题:我该怎么办?我用HtmlUnit做错了什么?如何通过Java解析器来触发现场jQuery脚本

Jsoup

Element page = = Jsoup.connect("https://www.epam.com/careers/job-listings?sort=best_match&query=java&department=all&city=all&country=Poland").get(); 

的HtmlUnit

try (final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_52)) { 
    page = webClient.getPage("https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine"); 
} 

我想我需要manualy运行一些脚本

result = page.executeJavaScript("function aa()"); 

但哪一个?

回答

1

你只需稍等一下暗示here

您可以使用:

try (final WebClient webClient = new WebClient(BrowserVersion.CHROME)) { 
    String url = "https://www.epam.com/careers/job-listings?query=java&department=all&city=Kyiv&country=Ukraine"; 

    HtmlPage page = webClient.getPage(url); 
    Thread.sleep(3_000); 
    System.out.println(page.asXml()); 
}