防止子域被查看/爬取

cPanel只允许我创建'AddOn'域。我已将所有TLDS指向将其保存在'public_html/main/sites'目录'/site1.com'，'/site2.com'下的服务器.mainwebsite.com将在'public_html'和所有我的客户端下的网站“的public_html /主/网站的防止子域被查看/爬取

它还创建子域“username.mainsite.com”我怎样才能阻止谷歌索引从这些子域，但仍指数顶级域名。并阻止用户能够从子域访问TLD？

如果我创建了一个RewriteRule，谷歌仍会索引TLD吗？或者有更好的方法去解决这个问题吗？

RewriteEngine on 
RewriteCond %{HTTP_HOST} !^www\.site1\.com$ [NC] 
RewriteRule ^(.*)$ http://www.site1.com/$1 [L,R=301]

来源

2013-12-15 7O07Y7

澄清：子域'sub.example.com'保存在'public_html/main/sites/sub'下，因此也可以通过'example.com/main/sites/sub'访问？你想阻止'example.com/main/sites/sub'，但允许谷歌仍然索引'sub.example.com'？ – Sumurai8

子域保存在public_html/main/sites/sub下，可以通过sub.example.com和TLD访问。我只是想确保谷歌不会索引子域只是顶级域名，并阻止人们访问子域名。 – 7O07Y7

如果您只想将其显示为顶级域名下的文件夹，为何不简单地在顶级域名下创建普通文件夹？您的规则应该适用于您所描述的内容，但如果您不想使用子域名，则制作子域名根本没有意义。 – Sumurai8

如果301重定向适用于您（也适用于您），它也适用于搜索引擎。

见Google’s documentation：

301重定向是特别有用的下列情况：
[...]
人们通过不同的URL访问你的网站。如果，例如，您的主页，可以以多种方式达成 - 例如，http://example.com/home，http://home.example.com或http://www.example.com - 这是一个好主意，挑那些网址作为首选（规范）目标之一，并使用301重定向发送流量从其他网址到您的首选网址。

来源

2013-12-16 09:49:27 unor

我刚刚做了一个“网站：”搜索我的网站，我注意到其索引mydomain.com/folder/otherdomain.com将一个robot.txt工作或将停止谷歌索引TLD？ – 7O07Y7

@ 7O07Y7：当你访问这样的搜索结果时，会发生什么？我认为它301-重定向到顶级域名。如果是这样，搜索引擎会更新他们的索引，这可能需要一些时间。 – unor

防止子域被查看/爬取

回答

相关问题