带插件的Jsoup

我正在使用Jsoup从不同的商店获取一些在线数据，但我无法弄清楚如何以编程方式复制我作为用户所做的工作。要手动获取数据（登录后），用户必须从弹出的a tree中选择一个商店。带插件的Jsoup

尽我所知，树并不是硬编码到网站中，而是在您的计算机与服务器交互时以交互方式构建。当您在“查看页面源代码”中查找表格时，没有条目。当我inspect the tree，我看到的HTML，它似乎来自“FancyTree”插件。

尽我所知，通过跟踪我在Developer Tools - Network上的活动，下一步是一个“GET”请求，它不会更改URL，所以我不确定我的商店选择如何转入。

有关如何让Jsoup或Java通常以编程方式与此表进行交互的任何建议将非常有用，谢谢！

2016-08-08 Cory

现在DOMS太动态了，希望能解析HTML并获得任何有用的东西。您需要使用像Selenium这样的工具来远程控制浏览器。这样，你可以让它找到按钮和下拉菜单，选择正确的元素，让JS正确执行，然后在一切正确时向浏览器询问DOMS当前状态。然后你可以用jsoup解析它。如果这是一个使用Linux的服务器端应用程序，那么您仍然可以使用xvfb（有帮助的提示，如果是这种情况）执行所有操作。 – Quaternion

感谢您的支持，如果我可以点评评论，我会赞成！ – Cory

Jsoup只能解析原始源文件，而不是DOM。为了解析DOM，您需要使用HtmlUnit之类的东西来渲染页面。然后你可以用Jsoup解析html内容。

// load page using HTML Unit and fire scripts 
WebClient webClient = new WebClient(); 
HtmlPage myPage = webClient.getPage(myURL); 

// convert page to generated HTML and convert to document 
doc = Jsoup.parse(myPage.asXml()); 

// do something with html content 
System.out.println(doc.html()); 

// clean up resources   
webClient.close();

请参阅Parsing Javascript Generated Page with Jsoup。

来源

2016-08-09 13:54:21

这非常有帮助，谢谢！ – Cory

回答

相关问题