2011-08-08 40 views
-2

我想阻止谷歌跟踪我在JS中的链接。 我没有找到如何做到这一点robots.txt 我看错了地方?限制搜索引擎抓取的JS链接

一些更多的信息: 我看到谷歌正在抓取这些网页,虽然链接只出现在JS。 我不想让他爬的原因是,这些内容依赖于外部API的,我不想对谷歌爬虫,只有每个用户的需求

回答

0

从谷歌直接浪费我的限速与他们 - >

http://www.google.com/support/webmasters/bin/answer.py?answer=96569

+0

我读过维基百科:“nofollow属性值并不意味着阻止访问内容,或阻止内容被搜索引擎编入索引。阻止搜索引擎蜘蛛访问网站上的内容或为了防止他们在他们的索引中包含页面的内容,机器人排除标准(robots.txt)“。这就是为什么我认为这对我来说不是合适的解决方案。你的想法? – Noam

+0

另外我明白它应该主要不会影响我链接到的页面的排名,但不是为了避免爬行它 – Noam

0

谷歌可能不会找你藏在JS有任何联系,但别人可以链接到同一个地方。

虽然不是重要的链接,但它是URL。只需指定您不希望搜索引擎在robots.txt中访问的网址即可。你通常通过JS将它们公开给浏览器的事实是无关紧要的。

如果您确实想要限制对内容的访问权限,那么只是减少可发现性可能还不够,并且应该设置身份验证层(例如密码保护)。

+0

我看到谷歌正在抓取这些网页。另外,这不是我担心的内容。这个内容取决于外部的API,我不想浪费我的速度限制,他们在谷歌抓取和只有每个用户的需求 – Noam

+1

然后只使用robots.txt – Quentin

+0

我可以指定在robots.txt不遵循JS网址? – Noam

相关问题