robots.txt文件不允许选项

Question

我想阻止机器人访问以/new结尾的网址。我修改我的robots.txt文件，如下所示：

Disallow: /*/new 

这是正确的方式用来禁止访问的/new终止所有网址吗？

Answer 1

是谷歌似乎支持这种

尝试https://www.google.com/webmasters“网站配置>抓取工具访问”来测试您的robots.txt文件给出的网址

下面是这个工具

http://www.***.com/new/asdasd 
Allowed by line 6: Allow:/

http://www.***.com/asdasd/new/ 
Blocked by line 8: Disallow: /*/new 
Detected as a directory; specific files may have different restrictions 

http://www.***.com/asdasd/new 
Blocked by line 8: Disallow: /*/new 

Answer 2

Disallow: /new$ 

的结果

将检查终止于/new的网址