我想从搜索引擎中隐藏public_html中的一个名为（beta）的文件夹，它也是所有它的子文件夹和文件，是否必须将该文件放在根文件夹（/）中，并将robots.txt的内容像在的public_html下面隐藏一个特定的文件夹，它是子文件夹和文件？
User-agent: *
Disallow: /public_html/beta
OR
放的robots.txt和做内容为以下
User-agent: *
Disallow: /beta
最好的解决办法是隐藏从测试你的所有子文件夹和文件。您可以按如下定义的robots.txt：
用户代理：*
不允许：/测试*/
现在，所有的搜索引擎不会抓取所有子目录和文件，然后测试。
重要的是公共URL，而不是服务器的实际物理文件夹。
所以当你有一个网站在example.com/cooking/index.html，你的robots.txt需要在example.com/robots.txt。对于sports.example.com/football/blog它将是sports.example.com/robots.txt。
robots.txt必须位于根目录中。
www.yoursite.com/robots.txt
这是你所需要的：
用户代理：*
不允许：/文件夹/东西
的东西作为要禁止的文件夹的名称
此外，请注意，您只想阻止名为something的子文件夹。如果你也有一个文件中指定的东西，你不希望禁止，不是这样做：
用户代理：*
不允许：/文件夹/事/