为什么谷歌停止爬行后限制

Question

我已经提交了1-2个月的网站地图。 Google开始快速爬行几天，并为大约25％的页面编制索引，然后突然停止并且不再爬行。

我为新抓取的网页创建了Google提醒。我每天都会收到有关某些网页已被抓取的提醒（仅限新网页）。

robots.txt的有设置，让所有

下面是截图，你可以在开始曲线看到的是陡峭的，但随后变得停滞不前。

Answer 1

官方回答这个问题可以在这里找到：https://support.google.com/webmasters/answer/34441

我个人也遇到过一次，它可以追溯到（有时）慢网络服务器的响应时间，之后谷歌决定不想让我的网站变得更慢，因此只能抓取新的数据。

此外，Google可能会抓取所有内容，但是您会将其他75％的网页视为重复内容，并且从现在开始忽略它们（您应该能够在您的网站站长工具中看到此内容）=>您是否可以检查访问日志看看Google是否可以抓取更多页面？