从AJAX/Javascript网页抓取内容

Question

我需要在网页上做一些屏幕抓取，其中我需要的内容是由AJAX生成的。在最初的页面上有一个包含4个选项卡的表格。当您单击任何选项卡时，表格的内容会发生变化。我只需要第三个标签中的内容。 我已经使用google chrome'Inspect Element'工具来查看请求和发布数据是什么，并且我可以在将信息（会话ID和许多其他cookie数据以及发布数据）从检查元素结果到PHP curl请求。但这只适用于会议持续的30分钟。有谁知道我可以获取这些信息的方式吗？

Answer 1

最后我用htmlunit来获取我需要的内容。我还发现HTMLUnit Scripter对于帮助生成所需的Java代码非常有用。

Answer 2

我不会重现这里的代码，但我会指出你的答案。这本书中 它：

http://www.amazon.com/Webbots-Spiders-Screen-Scrapers-Developing/dp/1593273975/ref=dp_ob_image_bk

A必须买的人做你做的事情。