1
A
回答
3
这取决于机器人。
遵循原始robots.txt规范的机器人不会给*
任何特殊含义。这些漫游器会阻止以/*
开头的任何URL,紧接着是?
,例如http://example.com/*?foo
。
一些机器人,包括Googlebot,给*
人物带来了特殊的含义。它通常代表任何字符序列。这些漫游器会阻止你似乎打算:任何URL与?
。
Google’s robots.txt documentation包括这个非常情况下:
为了阻止访问包括问号(
?
)的所有URL。例如,示例代码会禁止访问以您的域名开头,后接任意字符串,然后是问号,并与任意字串:User-agent: Googlebot Disallow: /*?
相关问题
- 1. 允许和禁止在robots.txt文件中
- 2. robots.txt禁止哪些文件夹 - SEO?
- 3. 禁止特定的文件夹中使用通配符的robots.txt
- 4. Robots.txt,禁止使用多语言URL
- 5. 使用robots.txt禁止或禁止子域名
- 6. 如何抓住robots.txt禁止?
- 7. 的robots.txt禁止:蜘蛛
- 8. 将Drupal robots.txt禁止仍记录在Apache日志文件?
- 9. 我可以使用robots.txt禁止电子邮件地址吗?
- 10. 禁止在robots.txt中使用动态网页
- 11. 如何在服务器上禁止的目录使用robots.txt
- 12. 禁止MVC中的robots.txt文件的操作
- 13. 如何禁用着陆页使用robots.txt文件?
- 14. 在html文件中禁止使用javascript
- 15. 的robots.txt和通配符OD禁止
- 16. 如何禁止从robots.txt搜索页面
- 17. 禁止robots.txt中的特定网址
- 18. 如何使用robots.txt禁止Codeigniter中的某个控制器
- 19. robots.txt中应该禁止使用sitemap吗?和robot.txt本身?
- 20. 如何禁止使用robots.txt为所有子域指定索引?
- 21. 是否需要在robots.txt中单独禁止相关的子文件夹?
- 22. 得到禁止使用robots.txt:scrapy
- 23. 禁用robots.txt检查nutch
- 24. robots.txt文件
- 25. 如何使用PHP解析robots.txt文件?
- 26. 如何在robots.txt中禁用$ disallow指令?
- 27. robots.txt:如何禁止所有子目录,但允许父文件夹
- 28. Nginx块robots.txt文件
- 29. 使用robots.txt来阻止/?param = X
- 30. 使用robots.txt阻止一个域