我在搜索引擎优化方面有点新,而我只是想写一个robot.txt文件。我想禁止在条款和条件文件夹中包含空格的网页。文件夹名称中的空格
我应该写:
Disallow: /Page TermsAndConditions/
或者:
Disallow: /Page%20TermsAndConditions/
或两者兼而有之,或者它没有关系?
(我想禁止这个文件夹,因为这是充满了技术术语我认为搞乱了googlebot发现的内容关键字 - 或者我有这个错误吗?)。
编辑:
我发现此页面使用Googe Robots.txt Specifications。其中说:“路径中的非7位ASCII字符可以作为UTF-8字符或按RFC 3986转换为百分比转义的UTF-8编码字符”。所以我想这个问题的答案是没关系。
这将是很好,如果谁投了一个问题的人会留下评论,说出原因。如果你希望我以积极的方式对SO做出贡献,那么你需要以一种很好的方式告诉我,我做错了什么。 – Ben 2012-08-17 10:33:45