robots.txt限制搜索引擎索引隐私的指定关键字

我有一个个人名字的大目录，以及可用的普通publicaly和类别特定的信息，我希望尽可能在搜索引擎中建立索引。在网站上列出这些名称本身并不是人们关心的问题，但有些人不想在搜索结果中出现“Google”本身。robots.txt限制搜索引擎索引隐私的指定关键字

我们希望继续在页面中列出这些名称，并仍然为页面编制索引，但是不会在搜索引擎中编制指定的名称或关键字。

可以这样做页逐页或将设立两个页面是一个更好的解决办法：

选项可供选择：

PHP可以审查关键字，如果用户代理=机器人/搜索引擎
htaccess的限制机器人非审查的内容，但允许第二审查的版本
meta tags定义单词不要索引？
的JavaScript可以隐藏机器人的关键字，但在其他方面可见

来源

2009-11-27 Peter Craig

你可以告诉机器人跳过加入ROBOTS meta索引特定页面：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

UPDATE：限制的特定词索引的方式我能想到的是：

使用JS将它们添加到页面（见下文）。
将模块添加到将从渲染页面中去除这些单词的服务器。

的JavaScript可能是这样的：

<p> 
    <span id="secretWord"> 
    <SCRIPT TYPE="text/javascript"> 
    <!-- 
     document.write('you can protect the word by concating strings/having HEX codes etc') 
    //--> 
    </script> 
    </span> 
</p>

服务器模块可能是最好的选择。在ASP.NET中，这应该相当容易。不知道有关PHP的。

来源

2009-11-27 05:14:04

Caps Lock break？ – MitMaro 2009-11-27 05:18:08

我知道meta标签，robots.txt或htaccess，你可以限制一个页面的索引，但我问是否可以忽略某些单词。有点像元关键词，有没有像元“反关键字” – 2009-11-27 07:19:14

对不起，错过了。稍微更新了答案。 – 2009-11-27 08:56:56

我将通过这些选项，告诉你一些问题，我可以看到：

PHP：如果你不介意的信任user agent这将很好地工作。我不确定一些搜索引擎如何对他们的机器人显示的不同内容做出反应。

htaccess：您可能需要将bot重定向到其他页面。你可以使用url参数，但这与使用纯PHP解决方案没什么两样。机器人会将其重定向到的页面编入索引，而不是您希望访问的页面。您可能可以使用重写引擎来完成此操作。即使你可以使用元标签让机器人忽略某些单词，它也不能保证搜索引擎不会忽略它，因为没有为元标签设置“标准”。但这并不重要，因为我没有办法让机器人使用元标记来忽略某些单词或短语。

JavaScript：没有机会我曾经听说过在浏览页面时执行（甚至读取）JavaScript，所以我没有看到这个工作。您可以向使用JavaScript的用户显示要隐藏的内容，机器人将无法看到它，但禁用JavaScript的用户也不会看到它。

我会去PHP路线。

来源

2009-11-27 05:23:02 MitMaro

- 有趣的是，您注意到潜在的问题是“欺骗”漫游器重定向到不同的内容，即使它是合法的内容。 - 我对meta标签的想法与关键字meta标签相反，就像是一个“反关键字”来忽略，虽然我知道没有这样的东西 - 我想这取决于多少使用JavaScript，它是一个相对高百分比，所以我仍然认为这是一个潜在的选择。但肯定机器人阅读JavaScript，怎么样通过JavaScript运行ajax内容... – 2009-11-27 07:23:07

使用AJAX加载的内容通常不被机器人读取，因为它需要执行没有机器人执行的JavaScript。 Google会尝试关注JavaScript中的链接，但不会对JavaScript中的任何词汇编索引。 – MitMaro 2009-11-27 19:02:52

从您发布的内容中不清楚的是，您是要保护自己的名称和关键字不受谷歌或所有搜索引擎的侵害。谷歌一般行为良好。您可以使用ROBOTS meta tag来防止该页面被编入索引。但它不会阻止忽略ROBOTS标签的搜索引擎索引您的网站。

的其他方法，你不建议：

具有页面获取与客户端JavaScript的内容。
强制用户在显示文本之前执行验证码。我推荐使用易于使用的reCAPTCHA包。

其中，reCAPTCHA方法可能是最好的，因为它也可以防止ilbehaved蜘蛛。但这对用户来说是最繁琐的。

来源

2010-03-01 16:19:20 vy32

robots.txt限制搜索引擎索引隐私的指定关键字

回答

相关问题