c＃经过整个网站

Question

给定一个网站的URL。 有没有办法遍历网站上的所有链接，并跟踪文本文件或其他内容中的所有页面。我想为此使用Selenium。 但是，其中一些弹出的对话框将位于每个页面的每个页眉和页脚上。所以显然要跟踪访问过的链接，不要再回头看看。

谢谢。

Answer 1

尝试Scrapy：http://scrapy.org/

Scrapy是一个快速的高层次的屏幕抓取和Web爬行框架，用来抓取网站，并从自己的网页中提取结构化数据。它可用于广泛的用途，从数据挖掘到监视和自动化测试。