如何通过robots.txt排除特定文件夹

Question

我想排除任何文件夹中的所有名称为“ajax”的子文件夹，以免被搜索引擎编入索引。

例子：

.com/a/ajax 
.com/b/ajax 
.com/c/ajax 

通过robot.txt这可能吗？

Answer 1

只有在明确列出每个文件夹的情况下才有可能。没有通配符支持来完成你想要的东西类型。 robots.txt exclusion standard在这方面有点欠缺。