robots.txt不允许属性

Question

我已经禁止某些使用robots.txt的页面用于所有搜寻器。我是否必须为这些文件编写元标记，否则网络爬虫只会跳过它们，因此不需要这样做？

Answer 1

你很好走。所有的大搜索引擎（谷歌，真的）都服从你在robots.txt中的任何条目。 http://www.robotstxt.org/robotstxt.html

此外，请注意robots.txt文件本身是可见的，因此不要将其用作安全措施。 http://www.cre8asiteforums.com/forums/index.php?showtopic=55546

Answer 2

写得很好的机器人会忽略这些页面（前提是robots.txt的语法是正确的）。

Answer 3

如果你想限制爬行器服从robots.txt，那么你很好，但如果它没有那么你可能会拧紧，因为它很可能会忽略meta。

所有主要的搜索引擎抓取工具都会遵从它，所以你可能没问题。