优先考虑Storm Crawler中的递归爬行

Question

爬行万维网时，我想为我的爬虫提供一个URL的初始种子列表 - 并希望我的爬虫能够在抓取过程中自动从互联网“发现”新的种子URL。

我在Apach Nutch中看到了这样的选项（请参阅generate command of nutch中的topN参数）。 Storm Crawler中也有这样的选项吗？

Answer 1

StormCrawler可以处理递归爬网，并且URL优先的方式取决于用于存储URL的后端。

例如Elasticsearch module可用于此，请参阅自述文件的简短教程和sample config file，默认情况下喷口将根据其nextFetchDate（**。sort.field *）对URL进行排序。

在Nutch中，-topN参数仅指定要放入下一个细分受众群的网址的最大数量（根据使用哪个得分插件提供的分数）。使用StormCrawler我们并不需要等效的东西，因为事情没有通过批处理，爬行连续运行。