search-engine-bots

1热度

1回答

允许和禁止在robots.txt文件中

我想禁止SE僵尸中的所有文件和文件夹，除了特殊的文件夹和文件。 我可以在robots.txt文件中使用这些行吗？ User-agent: * Disallow:/ Allow: /thatfolder 是不是？

web-crawler robots.txt search-engine-bots 2010-07-24

---