Sitemap包含被robots.txt阻止的网址

Question

我们发生了意外，我们的Wordpress网站将robots.txt设置为禁止7天左右的爬网。我现在正在尝试清理，网站站长工具说“Sitemap包含被robots.txt阻止的网址”。之后我“VE调整的robots.txt并允许抓取没有理由的URL仍然会堵塞，当我访问的例子出现OK

robots.txt的网址：http://bit.ly/1u2Qlbx

站点地图网址：http://bit.ly/1BfkSmx

我的网址，其中的robots.txt是根据网站管理员工具阻止：http://bit.ly/1uLBRea或http://bit.ly/1CsrHnr

Answer 1

别担心，如果您再次启用网址，Google的抓取工具会再次发现并抓取您的网页。消息将在几天内从GWT中消失。

最终，您可以使用GWT的相应功能测试您的robots.txt。

Answer 2

使用这个插件

https://wordpress.org/plugins/wp-robots-txt/

它会删除以前的robots.txt并设置简单的WordPress的robots.txt，等待了一天

问题就可以迎刃而解。

Answer 3

Google可能需要一段时间才能重新抓取您的网站。我会说等待可能是你唯一的选择。

我已经花了长达7天的时间，通过网站管理员工具提交完整的网站地图后正确索引的东西。

它看起来像你使用Yoast搜索引擎优化，该插件应该告诉你，如果有任何其他问题存在。