My robots.txt包含以下规则：网站地图/ robots.txt的配置冲突
Disallow: /api/
Allow:/
Allow: /apiDocs
的/apiDocs URL是在地图，但根据谷歌网站管理员工具，这些robots.txt规则而被抓取禁止。我想阻止所有匹配/api/*的网址被抓取，但允许抓取网址/apiDocs。
我应该如何更改我的robots.txt来实现这一目标？
换行符不是在记录允许（你有你的Disallow和两个Allow行之间的一个）。
您不需要Allow: /（与Disallow:相同，这是默认值）。
您不允许抓取/api/（这是任何URL，其路径以“api”开头，后跟一个“/”），因此不需要Allow: /apiDocs，因为无论如何都是允许的。
所以，你的备用记录应该是这样的：
User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/
当机器人被这种“回退”的记录相匹配，则允许抓取网址，其路径开始apiDocs。