我无法找到有关我的案例的信息。我想限制以下类型的URL来进行索引：robots.txt类别URL的限制
website.com/video-title/video-title/
（我的网站产生我的视频，文章的这种双重网址拷贝）
每个视频文章都以URL开头的单词“video”开头。
所以我想要做的是限制有website.com/"any-url"/video-any-url所有URL”
这样，我会删除所有的一倍副本。可能有人帮助我
这是不可能在原来的robots.txt规范
但是有些解析器可以支持Disallow通配符无论如何，例如，Google：？
Googlebot（但不是所有的搜索引擎）都尊重一些模式匹配。
所以对于谷歌的机器人，你可以使用下面一行：
Disallow: /*/video
这应该阻止其路径与任何东西开始，包括“视频”的任何URL，例如：
/foo/video/foo/videos/foo/video.html/foo/video/bar/foo/bar/videos/foo/bar/foo/bar/videos其他解析器不支持该会从字面上解释它，也就是说，它们会阻止以下网址：
/*/video/*/videos/*/video/foo