检查我的网站文件的网站

Question

有没有一个程序，抓取指定的网站，并吐出，如果有一个其他网站的引用？我有图片，视频文件，pdf等。我需要给另一位开发人员完成端口到他们的新服务器。

我刚将一个旧网站转移给另一个人，他们仍在使用我的文件。我不知道所有文件都是100％，我想确定我需要给他们什么文件。如果能够抓取linkchecker，并且如果存在对网站根目录（例如sub.domain.com）的引用，那么它会很好，然后它会吐出关于它的信息（哪个页面，什么网址）。

我不想在这一点上阻止网站使用这些文件。

我在Mac上，所以任何终端程序将会很好。

Answer 1

您可以检查出wget。它可以递归地（-r选项）下载网站并将其内容保存到您的硬盘。它通常（即，如果没有另外指定）将所有内容下载到像主机那样命名的目录中。

但要小心，不要递归下载整个互联网;所以一定要指定正确的--domains或--exclude-domains选项。

Answer 2

你可以尝试Sitesucker它可以用来下载站点上使用的所有文件（以及任何链接到的设备）。这是OSX（和iPhone）的捐赠软件，因此可能就是您正在寻找的东西。我相信它会为它下载的文件创建一个日志文件，所以如果您只是想将URL发送给您的同事而不是实际的文件，您可以发送该文件。