Apache Nutch的任何替代方法？

Question

我正在寻找类似下面的解决方案：

1-搜索在搜索引擎中给定的关键词（谷歌，雅虎......）

2-收到成效（链接）

3-去链接和提取内容和...

经过短暂的研究，我发现“Apache Nutch”，我只是想知道你的建议。

您对此解决方案有任何建议吗？

有没有更好的解决方案，我解释了什么？

我是一名python开发人员，我很熟悉像“Scrapy”这样的工具。

谢谢。

Answer 1

要一步步构建搜索引擎，请访问http://blog.building-blocks.com/technical-tips/building-a-search-engine-with-nutch-and-solr-in-10-minutes