如何使用Perl动态获取网页内容？

Question

这有点棘手。据我猜测，这个网页使用某种AJAX来根据搜索查询提取内容。当我使用Perl获取页面时，它会获取php/html后面的脚本代码，但不会获取手动搜索查询时显示的结果。我需要能够获取结果页面的内容。无论如何要在Perl中做到这一点？

Answer 1

在Perl中查看Selenium RC和WWW::Selenium模块。有了它们，你可以控制一个真正的网络浏览器

另一个选项是WWW::HtmlUnit，它使用HtmlUnit Java库在没有Web浏览器的情况下执行JavaScript。 WWW::HtmlUnit使用Inline::Java为Perl提供对该库的访问权限。我发现在安装时，最好对“你是否想构建JNI扩展？”这个问题说“不”。

Answer 2

如果你正在编写需要检查渲染页面的测试，你可以看看Schwern的javascript-tap-harness，它适用于Selenium并处理所有的脚手架。

我也发现Using WWW::Selenium To Test Or Automate An Ajax Website很有用。