2015-10-23 82 views
3

我试图在我的robots.txt中允许/category。在/category下是/subpages,我想在/category后面禁止任何东西。允许/类别但不允许/类别/子类别

我已经尝试禁止在robots.txt中使用/category/subpage1/category/subpage2,但由于子页面正在增加,我不想一次又一次编辑robots.txt。有没有办法做到这一点?喜欢在/category上加上/*左右?

回答

0
Disallow: /category/ 

这封锁了路径以/category/开头的网址。

路径为/category的网址将继续被抓取,因为它没有结尾斜杠。

相关问题