谷歌GAE：robots.txt无法访问

Question

我在我的网址http://watchmariyaanmovieonline.appspot.com/robots.txt上传的robots.txt，但是当我使用谷歌网站管理员，并做抓取谷歌为我的主页http://watchmariyaanmovieonline.appspot.com/我得到错误robots.txt无法访问

Answer 1

您的robots.txt内容有一个空的Disallow，因此您收到该错误。

User-agent: * 
Disallow: 
Disallow: /cgi-bin/ 
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml 

更新它：

User-agent: * 
Disallow: /cgi-bin/ 
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml 

它应该工作得很好，让我知道，如果这有助于:)