使用“禁止：/ *？”在robots.txt文件

Question

我用

Disallow: /*? 

在robots.txt文件来禁止可能包含所有页面的“？”在URL中。

该语法是否正确，或者我还封锁了其他页面？

Answer 1

这取决于机器人。

遵循原始robots.txt规范的机器人不会给*任何特殊含义。这些漫游器会阻止以/*开头的任何URL，紧接着是?，例如http://example.com/*?foo。

一些机器人，包括Googlebot，给*人物带来了特殊的含义。它通常代表任何字符序列。这些漫游器会阻止你似乎打算：任何URL与?。

Google’s robots.txt documentation包括这个非常情况下：

为了阻止访问包括问号（?）的所有URL。例如，示例代码会禁止访问以您的域名开头，后接任意字符串，然后是问号，并与任意字串：

User-agent: Googlebot 
Disallow: /*?