Apache nutch：在解析之前操纵DOM

Question

我想在页面响应传递给nutch之前从页面响应中移除特定元素。 具体来说，我想记住我的网页的部分用即

<div class="noindex">I shall not be indexed</div> 

而想要Nutch的解析之前将其删除，使“我不会被索引”是不存在NutchDocument之后。我计划围绕我的导航，页眉和页脚内容，因为现在，它们出现在索引中的每个文档中。

感谢， 保罗

Answer 1

你必须做一些alternativer：

• 你可以写一个Nutch的插件这样做。这个博客有一个在nutch中做插件的难得的例子：http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• 使用提取器内容：这里有http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/有一些算法。也许是做这件事的最好方式，也是在nutch的插件中。