Xml大型网站的站点地图

Question

大型网站如何处理数千个每天都会被删除的旧网址？特别是当网站重定向到一个自定义的错误页面，而不是抛出一个404错误页面。 （我读过搜索引擎爬虫不认为网址扔404错误页）

Answer 1

如果一个页面被删除，我强烈建议你让你的“自定义错误页面”实际返回一个“410 Gone”HTTP头。