如何找到mysite.com上的所有网址/页面

Question

我有一个网站，我现在支持并需要列出所有活页/网址。 有没有一个爬虫我可以用来指向我的主页，并列出它找到的所有页面/网址。

那么我可以删除任何不进入此列表的方式，因为它们将成为从未被清理过的孤儿页/网址？

我正在使用DNN并希望杀死不需要的页面。

Answer 1

由于您使用的是数据库驱动的CMS，因此您应该可以通过DNN管理界面或直接在数据库中查看。比爬虫更可靠。

Answer 2

回到过去，我使用wget来达到这个确切目的，使用它的递归检索功能。这可能不是最有效的方式，但它绝对有效。 YMMV，当然，因为有些网站会比其他网站多返回很多内容。