2013-09-27 67 views
0

这是我的第一个问题,但我在这个论坛花了很多时间来解决我在这段时间内遇到的很多问题,但现在我无法找到任何信息来帮助我解决这个问题。不允许在robots.txt中使用Cobrand吗?

我有几个cobrands有联盟内容,所以我不能控制所有的内容,因为他们是白色标签,我只设置他们的cname。因为现在谷歌看起来正在考虑cobrands整个根页面。

我需要deindex这cobrands以消除低内容的报告;我试图联系联盟经理,但是......他们很慢(其中一些)。

我正在寻找一种方式在robots.txt来禁止这个网站:http://cobrand.domain.com ...

任何帮助非常感激。 TXS

+1

如果您一直在使用该网站一段时间,您应该知道这里的人们对于您的问题具有尽可能多的关于您的问题的具体信息,而不是客气的话。我不清楚谁在运营这些网站:你代表“cobrands”,还是代表你们?你究竟在Google上看到了你不想要的东西? (“考虑cobrands整个根页面”对我来说并没有什么意义)我感到害怕 – IMSoP

回答

2

如果你想禁止的网址,其主机http://cobrand.example.com/的爬行,您需要将文本文件robots.txt在该主机的文档根:http://cobrand.example.com/robots.txt

下面的内容将阻止一切为了每一个有礼貌的机器人:

User-agent: * 
Disallow:/
+0

谢谢你的时间。我很抱歉,但没有什么可以隐瞒的,这是一个白色标签cobrand的分支机构,所以我当然无法访问根目录或文件,如果是白色标签,我无法控制内容。只有cnames设置。所以没有太多可用的信息。我想禁止他们或noindex他们,因为我有印象谷歌考虑也cobrands重复的网站,并可以惩罚我作为这个重复的域... – user2824312

+0

@ user2824312:如果你不能控制主机,你不能阻止任何搜索引擎。您至少需要以下权限之一:a)发送HTTP标头,b)编辑HTML,c)将特定文件上传到文档根目录(只适用于某些搜索引擎),d)更改robots.txt。 – unor

相关问题