使用Nutch如何抓取uisng ajax网页的动态内容？

Question

我使用Apache Nutch 1.10来抓取网页并提取页面中的内容。某些链接包含在ajax调用中加载的动态内容。 Nutch无法抓取并提取ajax的动态内容。我该如何解决这个问题？有没有解决方法？如果是的话，请帮我解答。

在此先感谢。

Answer 1

大多数网络爬虫库不提供开箱即用的javascript渲染。您通常需要插入另一个库，或者提供像Selenium或PhantomJS这样的js渲染的产品。

这是tutorial using nutch and Selenium。

Answer 2

签出最新的Nutch 1.11中继，其中包括一个新的插件协议交互式硒。 （https://github.com/apache/nutch/tree/trunk/src/plugin/protocol-interactiveselenium）

这个插件允许你编写你自己的处理程序并执行javascript来获取动态内容。