为什么Googlebot为/ mobile/*和/ m/*网页抓取任何未引用的网页？

自5月底以来，我在网站站长工具/ Google搜索控制台的智能手机抓取错误页面中遇到了很多新的404错误。它们都以/ m /或/ mobile /开头，它们都不存在，也不链接到网站上的任何位置。为什么Googlebot为/ mobile/*和/ m/*网页抓取任何未引用的网页？

例如，我对http://www.example.com/mobile/foo-bar/和http://www.example.com/m/foo-bar页面有404错误。根据Search Console，这些页面在现有页面http://www.example.com/foo-bar/中链接，但它们不是。

Googlebot是否自行决定寻找每个网页的移动版本？我可以禁用此行为吗？这是因为我的网站不适合移动设备（这是我收到Google的另一个警告消息的问题）。

来源

2015-06-12 Iwazaru

今天对我来说同样确切的问题。 pixelscrapper.com/m/...和pixelscrapper.com/mobile/...突然出现很多404，尽管我没有在这些路径上的任何页面，也没有链接到这些路径。仅在网站站长工具的“智能手机”标签上。我认为Google在爬行为移动设备时确实在“猜测”这些路径。 –

同样的问题在这里，从3个星期前开始增加。 '/ m /'...'/ mobile /'... 404错误。 [Google似乎试图在非移动网站上检测移动版本]（https://productforums.google.com/forum/#!topic/webmasters/k3TFeCkFE0Q）。好吧，对我来说真的没有意义:)想想，我会用robots.txt阻止那些人 –

您可以阻止robots.txt中的这些目录，但这是一个解决方法。更好的选择是确定Googlebot从哪里获取这些网址。

如果您分享了一个示例页面网址，其中Google表示您有指向/ mobile页面的链接，我可以查看它并找出正在接受的内容。

不，谷歌不只是创造目录上爬行，你可能在移动页面随机:)

来源

2015-06-12 09:27:29 FarhadD

一个例子：页面http://www.belial.fr/leigh-brackett/应该链接到http：/ /www.belial.fr/m/leigh-brackett/和http://www.belial.fr/mobile/leigh-brackett/根据Search Console – Iwazaru

有趣...我在页面上看不到任何直接链接本身，这是真的。您目前或过去是否有移动用户的任何服务器端重定向？ – FarhadD

我从来没有做过任何与/ m/or/mobile/url有关的事情，也没有链接也没有重定向，这就是为什么我对他们出现在Google搜索控制台中感到困惑，并认为这是某种标准。 – Iwazaru

由于@Jonny 5的评论中提到，这似乎已经悄悄的关机会谷歌猜测你可能在/m和/或/mobile目录中有你的网站的移动版本。根据我所阅读的内容，如果他们确定他们最初索引的页面不适合移动设备/响应，他们将只尝试这些目录。此行为的详细信息可以在这些谷歌产品论坛主题中找到：

另一个有用的评论从@ user29671，谁指出，您的网站实际上确实有来一些网址包含/m和/mobile索引。我发现我的网站也是这样，所以这种行为也可能限于Google有（无论什么原因）为/m和/或/mobile网址编制的网址。为了检验这是否为您的网站真实，转到以下网址与你的网站的域名替换example.com：

至于防止这个去，你最好的选择要么为您的网站创建适合移动设备的版本，要么将/m和/mobile页面重定向回原件。

来源

2015-07-06 15:32:05 sfarbota

在我看来，Google在默认情况下正在请求/ m和/ mobile网址。无论您的网站是否适合移动，它都无关紧要。我为每个添加到WMT的新网站都收到了/ m和/ mobile抓取错误，而https://www.google.com/webmasters/tools/mobile-friendly/告诉我该网站确实对移动设备友好。 – Frankey

有趣。它是否说明它正在附加/ m和/ mobile的确切页面已经是移动友好的？ – sfarbota

不知道我是否正确理解你的问题，虽然它只是每个设备的一个响应站点，但/ m和/ mobile会返回404，因为它们不会激怒。 WMT也没有显示任何指向这些/ m和/ mobile的引用。作为参考，这是其中一个网站http://psycholoog.site/ – Frankey

自2016年12月以来，我遇到了同样的问题.Googlebot不断尝试使用/ m /和/ mobile /前缀来抓取我的网页。

所有这些网址都会导致404错误，并在Google网站站长工具中列为错误。

的自动电子邮件是从GWT收到2017年1月2日指出

的Googlebot识别URL中的数量上http://example.com一个显著增加智能手机返回404（未找到）错误。如果您的桌面版网站上存在这些网页，则为移动用户显示错误可能会造成不良的用户体验。这种错误配置也会阻止Google在移动搜索结果中显示正确的页面。如果这些URL不存在，则不需要执行任何操作。

这是通过移动履带完成：

*叶：66.249.65.124

代理：Mozilla的/ 5.0（Linux的;的Android 6.0.1;的Nexus 5X构建/ MMB29P）为AppleWebKit/537.36（KHTML，像壁虎）Chrome/41.0.2272.96 Mobile Safari/537.36（兼容; Googlebot/2.1）

浏览器：Mozilla/5.0（Linux; Android 6.0.1; Nexus 5X Build/MMB29P）AppleWebKit/537.36 KHTML，像Gecko）Chrome/41.0.2272.96 Mobile Safari/537.36（compatible; Googlebot/2.1）*

因此，你并不孤单。放轻松。这是谷歌的错误:)

来源

2017-01-05 22:10:43 user3548200

-1

至于重定向/m和/mobile页回原件，下面是nginx的一个片段：

location /m/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
} 

location /mobile/ { 
    rewrite ^/[^/]+(/.*)$ $1 permanent; 
}

你也可以重定向一切的根源：

location /m/ { 
    return 301 $scheme://$host/; 
} 

location /mobile/ { 
    return 301 $scheme://$host/; 
}

来源

2017-02-07 00:33:31 sanmai

为什么Googlebot为/ mobile/和/ m/网页抓取任何未引用的网页？

回答

为什么Googlebot为/ mobile/*和/ m/*网页抓取任何未引用的网页？

回答

相关问题

为什么Googlebot为/ mobile/和/ m/网页抓取任何未引用的网页？