2013-04-13 23 views
0

我有一个Rails应用程序的产品,其中的产品,可以发现:*/robots.txt中的链接 - 这是否阻止所有或仅链接以/ link结尾?

mydomain.com/thisproduct

如果导致制造商的网站的链接用户点击,这是通过使用完成函数“链接”与以下网址:

mydomain.com/thisproduct/link

谷歌似乎这个指标相当独有的通过索引这个页面作为我的网页,但与制造商的网站的内容。所以,我想阻止它在robots.txt中编入索引。

This is my robots.txt: 

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file 
# 
# To ban all spiders from the entire site uncomment the next two lines: 
# User-Agent: * 
# Disallow:/
Disallow: /sokresultat/* 
Disallow: */link 

当最后一行是我的问题涉及到:

执行此块与链端的所有网址?而且,更重要的是,是否会阻止其他任何内容?恐怕这将通过该通配符为我的整个网站取消索引。

回答

1

看起来,经过一些额外的研究后,通配符在搜索引擎之间的支持方式不同。这适用于Google,可以在Google网站管理员工具中验证。