没有robots.txt的，但我想NOINDEX页面

我有一个HTML/PHP/CSS的网站，很简单，我自己也没有robots.txt文件。该网站已编入索引，非常棒。没有robots.txt的，但我想NOINDEX页面

但现在我创造的东西，我需要一个网页，我想打一个页面NOINDEX。

我必须为它创建一个robots.txt文件，或有更简单的方式做到这一点，而无需创建一个robots.txt？

而且，我做了谷歌这个提问前，我读到一篇文章，该指令将如下代码加入您的网页上<head>代码下传来：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

我这样做。但是，在我检查页面后：http://www.seoreviewtools.com/bulk-meta-robots-checker/

它说：Meta机器人：未找到说明：没有检测到索引或服务的限制。

那么，如何才能让该页面NOINDEX？

来源

2016-09-26 Overloard

机器人不必遵守robots.txt或机器人meta标签 - 你想阻止什么机器人？ – nogad

大多数网络爬虫将遵守上面的元标记。该工具甚至列出了“'作为工作 - 它可能对大小写敏感？ – Carl

元标记没问题，但你仍然在浪费带宽，因为每个机器人都会下载它 - 他们必须这样做，否则他们永远不会看到元标记。只需创建一个robots.txt。蜘蛛将试图抓取它，所以你不妨利用它。 –

虽然有一个robots.txt文件是你能做的最好的，从来就没有保证的搜索机器人不会索引页面。我相信大多数，如果不是所有可敬的搜索引擎都会遵循该文件中的限制条件，但有很多其他的漫游器没有。这就是说，如果你没有链接到任何地方的页面，那么搜索引擎就不会对它进行索引 - 至少在理论上：如果你或其他人访问该页面及其浏览器或扩展提交该页面进行索引，无论如何，它最终都会被索引。

来源

2016-09-26 19:46:37 borfast

没有robots.txt的，但我想NOINDEX页面

回答

相关问题