通过wget命令抓取sitemap.xml链接

Question

我尝试抓取sitemap.xml的所有链接以重新缓存网站。但wget的递归选项不起作用，我只得到回应：

远程文件存在但不包含任何链接 - 不检索。

但是肯定的是，sitemap.xml中充满了“http：// ...”链接。

我试过几乎所有的工作对我来说wget的，但没有的选项：

wget -r --mirror http://mysite.com/sitemap.xml 

有谁知道如何打开一个网站的sitemap.xml内部的所有链接？

感谢， 多米尼克

Answer 1

似乎wget无法解析XML。所以，你必须手动提取链接。你可以这样做：

wget --quiet http://www.mysite.com/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -i - 

我学会了这个把戏here。