我得到错误“网络无法访问:robots.txt文件无法访问”尝试添加我的网站在谷歌Webmaster tools ->
http://www.hyponomist.com/网络无法访问:robots.txt文件无法访问
时,您可以检查我的robots.txt at here和sitemap.xml at here
我有阅读其他职位,但无法解决/理解。是什么导致了这个问题。此外,我尝试使用Googlebot抓取工具下载网页,但得到同样的错误。
任何人都知道吗?
在此先感谢!
我得到错误“网络无法访问:robots.txt文件无法访问”尝试添加我的网站在谷歌Webmaster tools ->
http://www.hyponomist.com/网络无法访问:robots.txt文件无法访问
时,您可以检查我的robots.txt at here和sitemap.xml at here
我有阅读其他职位,但无法解决/理解。是什么导致了这个问题。此外,我尝试使用Googlebot抓取工具下载网页,但得到同样的错误。
任何人都知道吗?
在此先感谢!
当用户代理字符串表示请求来自Googlebot时,您的网络服务器返回503错误,但当它来自浏览器时,该错误消息为200。如果您使用http诊断工具,如Fiddler(http://fiddler2.com/),您可以看到这一点。
如果您使用Fiddler发送相同的请求,一个浏览器会发出:
GET http://www.hyponomist.com/robots.txt HTTP/1.1
Host: www.hyponomist.com
Connection: keep-alive
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.72 Safari/537.36
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
的回应是:
HTTP/1.1 200 OK
Server: nginx/1.4.4
Date: Fri, 10 Jan 2014 21:34:42 GMT
Content-Type: text/plain; charset=UTF-8
Transfer-Encoding: chunked
Connection: keep-alive
Retry-After: 18000
Last-Modified: Fri, 10 Jan 2014 20:43:28 GMT
Content-Encoding: gzip
如果您更改用户代理来模仿谷歌机器人:
GET http://www.hyponomist.com/robots.txt HTTP/1.1
Host: www.hyponomist.com
Connection: keep-alive
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
然后回应是:
HTTP/1.1 503 Service Temporarily Unavailable
Server: nginx/1.4.4
Date: Fri, 10 Jan 2014 21:35:25 GMT
Content-Type: text/html; charset=iso-8859-1
Content-Length: 234
Connection: keep-alive
Retry-After: 18000
到底为什么它这样做,我不能告诉你。 503通常是服务器暂时超载时发送的错误,但显然这不是这种情况。也许你的防火墙配置不好,并根据请求频率将Googlebot列入黑名单?看看你的防火墙设置和你的服务器配置。
删除尾部斜杠(使用http://www.hyponomist.com而不是http://www.hyponomist.com/)可以帮助
这个问题可能会更适合[网站管理员](http://webmasters.stackexchange.com/questions/tagged/web-development)。 –