如果不允许长的URL的robots.txt文件中

Question

之间我有一个情况使用通配符，我需要禁止爬行，所有具有相同的图案，如特定网页：

/folder1/folder2/folder3/review 

凡为/folder1/folder2/folder3/将是一个上市，并且添加/review就是我想要禁止爬行的内容。

将此行添加到robots.txt是否有效并阻止在评论页上，而不是列表或其他内容？

Disallow: /folder1/*/*/review 

感谢

Answer 1

双*是多余的。 简单

/文件夹1/* /审查

甚至

/* /审查

会做。

如果你试图说明有必须是在“审查”URL之前是一个3文件夹长路径比我不认为你可以做到这一点是robots.txt。至少不用通配符，beacuse *可以表示任何字符串和任意数量的文件夹。

请尝试在htaccess中使用RegEx。