如何停止将搜索引擎编入索引维护页面

Question

我需要为正在运行的网站设置维护页面，例如当我执行网站维护（计划停机时间）时显示，或者如果某件事情真的发生中断，我需要建立一个持有页面。

有什么特别的我需要做，以确保搜索引擎抓取工具不索引它，并认为它是我的网站。或者我应该做一个404，添加一个临时robots.txt文件或什么？我基本上不希望他们把它作为我的网站编入索引，但我也不希望他们认为我的网站已经死了，不能再回来。

编辑：这是我在Apache中所做的：！ErrorDocument的503 /.server-maintenance.html RewriteEngine叙述在重写规则^服务器maintenance.html /服务器维护重定向503 /服务器维护强大的文本

Answer 1

你应该送503 Service Unavailable HTTP状态代码，而不是404。将此与Retry-After标头一起使用，以告诉机器人什么时候回来。

Answer 2

您可以使用robots.txt

http://www.robotstxt.org/

此外，谷歌在其网站管理员工具验证。

https://www.google.com/webmasters/tools/

Answer 3

另一种方法是不要将维护页面链接到您网站（或任何其他网站）上的任何其他页面。

Answer 4

返回503 Service Unavailable告诉Google机器人稍后再回来。有一个Google support page描述了HTTP错误代码以及它们如何解释它们。

您也可以使用Retry-After response header建议您的网站重新检查可用性的最短时间。