2011-06-26 56 views

回答

1

一个好地方,开始寻找正确的语法应为here

还要注意通配符和正则表达式是无论是在用户代理不支持或禁止线。用户代理字段中的'*'是一个特殊的值,意思是“任何机器人”。具体而言,您不能拥有像"User-agent: *bot*""Disallow: /tmp/*""Disallow: *.gif"这样的行。

+0

我已经添加了最相关的段落,似乎回答问题的报价。 –

+0

这是根据标准。 Googlebot并不像黑白一样,它允许并理解Disallow:/*.gif$ – randomguy

相关问题