不允许使用robots.txt的文件夹组

Question

我需要禁止在robots.txt没有通知的情况下访问哪个文件夹。

在我的情况下，我有三个文件夹/_private1,/_private2和/_private3。

我需要知道，如果我像上面一样使用，我会保护我的文件夹免遭谷歌和其他人的侵害。我应该怎么做？

Disallow: /_* 
Disallow: /_ 

Answer 1

要禁止任何目录或文件名称以下划线：

User-agent: * 
Disallow: /_ 

你应该知道，这并没有完全保证这些目录将永远不会出现在任何搜索引擎。它可以防止符合robots.txt的机器人（包括所有主要搜索引擎）抓取它们，但是如果有人决定链接到它们，它们理论上仍然可以在搜索中显示出来。如果你真的需要保持这个信息的私密性，最好的做法是把它放在密码后面。