锁定在机器人的链接，但inluding网站地图

Question

我可以举例来说，包括

用户代理：* 不允许：/

在机器人

，然后包括所有的链接我想包括在主页网站地图 和多个其他站点地图，并将它们编入索引？ 这是否工作？

我注意到我们的一个竞争对手使用机器人禁止链接，并且在这些完全相同的链接上使用rel = nofollow，但是使用大量的站点地图来弥补它，并且它们被编入索引。我注意到，这种方法对于链接繁重并且需要特定顺序的特定站点更好。

我可以这样做吗？

Answer 1

受限制的页面robots.txt根本不会被编入索引。据谷歌网站管理员工具：

如果你的网站有您不希望谷歌或其他搜索引擎来访问内容，请使用robots.txt文件来指定搜索引擎抓取网站内容。

将这样的URL包含到sitemap.xml也不会影响索引。