2016-12-14 111 views

回答

3

这取决于机器人。

遵循原始robots.txt规范的机器人不会给*任何特殊含义。这些漫游器会阻止以/*开头的任何URL,紧接着是?,例如http://example.com/*?foo

一些机器人,包括Googlebot,给*人物带来了特殊的含义。它通常代表任何字符序列。这些漫游器会阻止你似乎打算:任何URL与?

Google’s robots.txt documentation包括这个非常情况下:

为了阻止访问包括问号(?)的所有URL。例如,示例代码会禁止访问以您的域名开头,后接任意字符串,然后是问号,并与任意字串:

User-agent: Googlebot 
Disallow: /*?