我们可以阻止Googlebot抓取旧的pdf网址

-2

在我的网站中，它们是一个链接到PDF的按钮。假设按钮上的当前PDF网址为http://www.abc.come/wp-content/uploads/2016/09/xyz.pdf，并且此网址的谷歌机器人已经抓取。现在从管理员月后，管理员上传新的PDF说http://www.abc.come/wp-content/uploads/2016/09/xyz-latest.pdf和更新按钮上的网址。我们可以阻止Googlebot抓取旧的pdf网址

问题的原因是Googlebot仍继续抓取旧网址与xyz.pdf和网站管理员工具给予404。

我们怎样才能使Googlebot的停止抓取旧网址，抓取新的。

谢谢。你可以。

来源

2016-09-28 sahil monpara

使用重定向？也没有编程相关。 – PeeHaa

404是被删除的网址的正确回应，因此无需更改该网址。 Google需要抓取网址以获取404并了解它已被删除。网站站长工具中的404报告只是为了让您知道您的网站上发现了什么（或不是）。 404不会损害您的网站 – user29671

-1

是的，你可以。

在站长去谷歌首页 - >删除网址。从这里删除你的网址，然后从你的应用程序。适用于我。

来源

2016-09-29 07:25:37

这不是一个正确的使用清除工具。没有必要使用搜索控制台中的删除工具查找已删除的网址。没有东西可以删除，谷歌已经爬过并且看到了404. – user29671

，您可以阻止它重新抓取页面，并最终在几次抓取后将其从SERP中移除。这是它的工作原理，据我所知 –

不，被移除工具移除的网址仍然可以被抓取。他们实际上并没有删除，他们只是隐藏在搜索结果中。请阅读此处https://webmasters.googleblog.com/2011/05/do-404s-hurt-my-site.html并查看该页面上的最后一个问题>问：我可以使用Google的URL清除工具制作404错误从我的帐户中消失得更快？ A：不;网址删除工具会从Google的搜索结果中删除网址，而不是从网站站长工具帐户中删除。 – user29671

-1

我有同样的问题，我的解决办法是在.htaccess与410（“水涨船高”）的StatusCode的条目。一段时间后谷歌停止爬行。但我也看到Google会在404时停止抓取。但在我的网站上，它会持续抓取404个网站。

来源

2016-09-29 07:29:18

如果这意味着您将404更改为410重定向，那么您将重定向301/302而不是4xx。哪一个不对。 – user29671

没有，这意味着Apache发送一个410头，而不是404。所以Google知道该文件实际上存在，但现在它已经消失。 –

如果你重定向了它，就像你说的“在.htaccess中重定向” – user29671

我们可以阻止Googlebot抓取旧的pdf网址

回答

相关问题