我可以使用robots.txt阻止某些网址参数吗？

Question

在您告诉我'您尝试了什么'和'自己测试'之前，我想注意的是robots.txt更新非常慢，我的网站搜索引擎上的任何网站，所以如果您可以提供理论经验，将不胜感激。

例如，是否可以允许：

http://www.example.com 

和块：

http://www.example.com/?foo=foo 

我不是很肯定。

帮助？

Answer 1

据Wikipedia“的robots.txt的图案由简单的字符串匹配的比较”，并为GET字符串是一个URL，你应该能够只需添加：

Disallow: /?foo=foo 

或更多的东西花哨像

Disallow: /*?* 

禁用所有获取字符串。星号是通配符，因此它匹配任何一个或多个字符。

Example of a robots.txt with dynamic urls.