从重复的网站中删除包含链接

Question

有一个重复的开发网站，因为遗留原因存在并且正在等待完全删除，它始终有一条规则来保留所有搜索引擎的robots.txt文件，但是在某一时刻，机器人.txt被意外删除，并且在某个时间点，有两个跨域重复项目，并且Google将整个重复网站编入索引，并且导致数千个到生产网站的传入链接出现在Google网站站长工具中（您的站点位于网站>链接到您的网站）。

robots.txt得到恢复，整个开发站点受密码保护，但来自重复站点的传入链接保留在生产网站站长工具中，即使开发站点robots.txt是由Google下载的19小时前。

我花了几个小时阅读了这个，看到很多网络上的矛盾，所以想从stackoverflow得到一个更新的共识如何执行一个完整的网站删除并删除指向开发网站的链接从谷歌到生产网站。

Answer 1

没有人能够告诉你究竟需要多长时间才能从索引中删除“不良”链接，但这可能需要几天而不是几小时。还有一点需要注意的是，只有“好的”抓取工具才会实际遵守robots.txt文件，因此如果您不希望这些链接出现在别处，只需在robots.txt文件中使用disallow即可足够。