0
我有一个Rails应用程序的产品,其中的产品,可以发现:*/robots.txt中的链接 - 这是否阻止所有或仅链接以/ link结尾?
mydomain.com/thisproduct
如果导致制造商的网站的链接用户点击,这是通过使用完成函数“链接”与以下网址:
mydomain.com/thisproduct/link
谷歌似乎这个指标相当独有的通过索引这个页面作为我的网页,但与制造商的网站的内容。所以,我想阻止它在robots.txt中编入索引。
This is my robots.txt:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow:/
Disallow: /sokresultat/*
Disallow: */link
当最后一行是我的问题涉及到:
执行此块与链端的所有网址?而且,更重要的是,是否会阻止其他任何内容?恐怕这将通过该通配符为我的整个网站取消索引。