禁止特定的文件夹中使用通配符的robots.txt

Question

我可以隐藏抓取特定的文件夹中包含通配符：

User-agent: * 
Disallow: /system/ 
Disallow: /v* 

我想隐藏的所有文件夹开始以“V”字。它会以这种方式工作？

Answer 1

根本不需要通配符。你的例子可以工作，但没有通配符就可以工作。尾随通配符不会做任何有用的事情。

例如，这样的：

Disallow: /x 

意思是： “块以 '/ X' 开始的任何路径，随后的零个或多个字符。”

这：

Disallow: /x* 

意思是：“块以‘/ X’开始的任何路径，后面的零个或多个字符，随后的零个或多个字符。”

这是多余的，它阻止了第一个块的所有相同的事情。唯一的实际区别是第二个版本无法在不支持通配符的抓取工具上工作。