1
我正在使用付费地理定位脚本将用户定向到基于国家/地区的特定站点。 但是，我收取很多费用，因为机器人不断抓取我的大型网站的每一页。从robots.txt中禁止Google机器人并列出站点地图
如果我禁止robots.txt中的谷歌，并提供robots.txt内的网站地图，谷歌仍然会索引我的网页没有爬网？
例
User-agent: *
Disallow:/
Sitemap: sitemap.xml
A
回答
0
谷歌索引只爬行......
为你做的最好的事情，就是当你发现一个谷歌机器人（或其他）禁用脚本地理位置您 可以通过各种方式识别它们：HTTP_USER_AGENT或HTTP_FROM，或IP
相关问题
- 1. 在robots.txt中列出站点地图和站点地图索引文件？
- 2. Google'站点地图包含受robots.txt阻止的网址'警告
- 3. 如何禁止不遵守robots.txt的机器人？
- 4. robots.txt禁止谷歌机器人在根域，但允许谷歌图像机器人？
- 5. robots.txt的机器人名称
- 6. 机器人meta和robots.txt
- 7. 如何禁止bot访问robots.txt物理位置的多站点？
- 8. robots.txt中的跨域网站地图
- 9. robots.txt如何禁止除站点地图中的网址以外的所有网址
- 10. 如何禁止从robots.txt搜索页面
- 11. 使用Google XML站点地图插件的WordPress站点地图
- 12. PHP Array解析robots.txt中的站点地图
- 13. robots.txt中的每个顶级域名的站点地图参考
- 14. 如何抓住robots.txt禁止？
- 15. 的robots.txt禁止：蜘蛛
- 16. 机器人的txt禁止外卡
- 17. 如何在没有robots.txt的情况下阻止机器人
- 18. 禁用Google地图上的巴士站
- 19. 的robots.txt和Meta标签机器人
- 20. 我禁止使用Google地图吗？
- 21. 检查网站是否使用站点地图和机器人文件
- 22. 403尝试从机器人中调用Microsoft Bing Speech API时出现禁止
- 23. 机器人放置图标列出（filebrowser）
- 24. 网站地图/ robots.txt的配置冲突
- 25. 禁止robots.txt中的特定网址
- 26. 允许和禁止在robots.txt文件中
- 27. Google地图API在地图上重复列出信用点
- 28. 如何禁止在Google地图上的地图上移动？
- 29. 生成从Google地图中心到另一个地图站点的链接
- 30. navitem.isSelected（）从站点地图ADT