如何忽略我网站中的一些链接？

Question

我工作的一个小PHP脚本，我有一些像这样的链接

*-phones-*.html 

*是变量我希望禁止谷歌索引这种使用robots.txt，可以链接？

Answer 1

你不禁止任何事情。 robots.txt只是webcrawlers的一套准则，可以选择是否遵循它们。

粗鲁的爬虫当然应该被禁止IP。但是你无法避免webcrawler可能会遇到该页面。无论如何，你可以将它添加到你的robots.txt和谷歌webcrawler可能服从。