2
我有一个域名，如domaindev.com。防止所有子域名被搜索引擎机器人抓取
我已在这一领域的robots.txt文件来阻止一切：
User-agent: *
Disallow:/
就这样。这样可以阻止所有内容被抓取。
现在，这里是它变得有趣。我们还在我们的服务器上托管了几个subdomains.domaindev.com，并且我想拦截所有这些子域名以防被抓取。我想要一个简单的方法来阻止任何旧的子域名和任何新的子域名。有没有一条线我可以添加到www.domaindev.com这将防止domaindev.com下的任何子域？
是制作默认robots.txt的最佳方式，只需手动将其放在所有子域文件夹中即可。
我真的很喜欢一个明确的解决方案，以免不断地做同样的事情。
我们使用WordPress并在wp-admin中设置它不让蜘蛛抓取我们的网站。但不知何故，这些网站正在向Google寻找途径。
我该怎么办？
我搜索的网站，发现该行添加到我的.htaccess文件：
Header set X-Robots-Tag "noindex, nofollow"
我要做到这一点为好。
我也看到它是标准的一部分，每个子域都需要自己的robots.txt文件。