防止Cookieless subdomain被搜索引擎索引的静态资产

Question

我已经创建了一个新的子域用于所有静态资产（static.example.com），方法是创建一个新的A记录并将它指向具有新IP的同一服务器然后使用与主www.example.com站点相同的DocumentRoot创建虚拟主机。我们已将静态资源的所有引用指向静态子域，但是可以通过static.example.com或www.example.com访问所有网站资源。

问题是Google已经开始在static.example.com子域中索引html文件。防止Google将此域上的文件编入索引的最佳方法是什么？

Answer 1

有几种方法可以做到这一点。一个是使用robots.txt

在根目录下创建一个static.example.com.robots.txt文件，并在其中放入以下内容（不能使用robots.txt，因为它与其他域共享）。

这将禁止所有的蜘蛛含Googlebot会

User-agent: * 
Disallow:/

为了确保这只是从static.example.com网站服务添加以下规则来你的.htaccess在您的网站的根文件夹。

RewriteEngine On 
RewriteBase/


#if request is on static.example.com 
RewriteCond %{HTTP_HOST} ^static\.example\.com$ [NC] 
#serve robots.txt from static.example.com.robots.txt 
RewriteRule ^(robots\.txt)$ %{HTTP_HOST}.$1 [L,NC]