Robots.txt语法不能理解

2012-07-10 57 views 14 likes

我之前把我的robots.txt文件提交给Google，它仍然给我一个第一行不能理解的语法。Robots.txt语法不能理解

谷歌搜索后最常见的问题是谷歌添加'？'在线的开始，但它没有这样对我。

的URL的robots.txt是

www.leisurepursuits.co.uk/robots.txt

错误是：

线路1：用户代理：*不了解语法

我认为这是一个很好的问题....感谢Lex。解决了我的问题。 – JoshYates1980 2016-04-07 18:57:10

回答

出现此错误是因为预期的robots.txt文件格式是以UTF-8编码的纯文本格式。该文件由CR，CR/LF或LF分隔的记录（行）组成。

如果字符编码不是UTF-8的子集，那么您的robots.txt文件被错误地解析。

首先通过选择第二个选项“view source”来检查您的robots.txt网址http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl并查看它是否成功响应。

现在再次上传您的robots.txt文件。它不会显示错误，如前所示。

2013-01-18 07:15:35

链接不再有效。对我来说http://www.milevis.com/Tips/Details/42修复程序 – ysrb 2014-05-07 16:48:04

我最初通过VS2013创建了robots.txt文件，这是我的问题。阅读完这篇文章后，我在记事本中打开并保存，然后再次上传并运行。 – JoshYates1980 2016-04-07 19:02:11