crawler4j抓取一个网址列表，而不抓取整个网站

Question

我有一个需要抓取的网址列表。有可能只抓取网页列表，而不抓取它。如果我将网址添加为种子，它会以完整的深度抓取完整网站。

Answer 1

要只抓取其中添加作为种子的页面，设置MaxDepthOfCrawling 0

CrawlConfig config = new CrawlConfig(); 
config.setMaxDepthOfCrawling(0); 
PageFetcher pageFetcher = new PageFetcher(config);