阻止被抓取的特定地址Robots.txt

Question

我已经被问到（为了改进SEO结果）从Robots.txt中删除某个网址。

我正在努力（搜索引擎优化不是我的长处）弄清楚如何阻止某个域名，即使这两个地址指向同一个网站。

例如：

http://foo.example.com - 网址我需要被索引
http://www.examplefoo.com停止 - 网址我不想被索引

从我可以告诉，使用不允许/将只从两个块（因为他们是相同的网站）

任何帮助？对不起，如果这是一个愚蠢的问题..

Answer 1

步骤1： 如果你的第一个域在上，你应该重定向到你的第二个域。

样品（宽度htaccess的）：

RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR] 

RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR] 

RewriteCond %{HTTP_HOST} ^yyy.com$ [NC] 

RewriteRule ^(.*)$ http://www.yyy.com/$1 [R=301,L] 

第2步： 您应该删除的删除在网站管理员工具的网址（目录全部）

好运

所有URL（从第一个域）