子域不允许搜索机器人

Question

我希望禁止搜索机器人访问，包括使用robots.txt和子域整个域潜在的.htaccess

我想，以确保在未来的任何新的子域名被封锁，而不每次都必须在子域的根目录中创建一个。

这可能吗？

Answer 1

如果你想通过robots.txt阻止机器人，你必须为每个子域创建一个。我建议一个脚本来监视你的区域文件，然后自动创建一个。

另一种解决方案是使用HTTP Basic Auth。它会阻止所有漫游器访问CNAME，但它会要求用户输入用户名和密码。

或者你可以使用IP表来限制IP范围的访问。

您可以使用多种解决方案来防止机器人访问您的CNAME，并且还有更多解决方案可以阻止搜索引擎将您的网页添加到其索引中。

这取决于你想让谁进入（好机器人，坏机器人，用户等），这将决定你将使用什么解决方案。