我有一个wordpress网站已被搜索引擎索引。noindex follow in Robots.txt
我编辑了Robots.txt以禁止搜索索引中的某些目录和网页。
我只知道如何使用allow和disallow，但不知道如何在Robots.txt文件中使用follow和nofollow。
我在某处阅读，同时在Google上搜索，我可以拥有不会在Google中编入索引的网页，但会为网页搜索抓取网页。这可以通过禁止Robots.txt中的网页来实现，并使用关于网页的内容。
请让我知道如何在Robots.txt文件中使用follow和nofollow。
感谢
萨米特
不，你不能。 你可以设置你想阻止哪些目录以及哪些机器人，但你不能通过robots.txt设置nofollow 在页面上使用机器人meta标签来设置nofollow。
a。）遵循/不遵循和索引/无索引规则不适用于robots.txt（设置常规站点规则），但是适用于页面元机器人标签（设置此特定页面的规则）
湾）谷歌不会抓取到禁止网页，但它可以索引他们在SERP（使用入站链接或网站目录，如Dmoz的信息）。
话虽如此，没有PR值可以从中获得。
谷歌实际上确实识别noindex：指令内的robots.txt。 Matt Cutts在谈论它：http://www.mattcutts.com/blog/google-noindex-behavior/
如果您在robots.txt中为Google索引中的页面添加了“Disallow”，您通常会发现该页面停留在索引中，如鬼，删除了其关键字。我想这是因为他们知道他们不会抓取它，并且他们不希望索引包含bit-rot。因此，他们用“由于此网站的robots.txt无法提供此结果的描述 - 了解更多信息”来替换页面描述。
因此，问题依然存在：我们如何从Google删除该链接，因为“Disallow”无效？通常情况下，您希望在相关页面上使用元机器人noindex，因为如果Google发现此更新，它实际上会将该页面从索引中移除，但在您的漫游器文件中使用该Disallow指令时，他们永远不会知道。
因此，您可以从robots.txt中移除该网页的Disallow规则，并在网页的标题中添加元机器人noindex标记，但现在您必须等待Google返回并查看您告诉他们的网页把...忘了吧。
您可以从您的主页创建一个新的链接，希望Google能够得到提示，或者您可以通过将Noindex规则直接添加到robots.txt文件中来避免整个问题。在上面的帖子中，Matt说这会导致链接被删除。