为什么我们必须在网站应用程序中写入robots.txt？

Question

我不知道为什么robots.txt文件使用很多网站。

任何人都可以解释我如何帮助我们的网站或网页。

让我知道如何写（语法和什么关键字）robots.txt文件。

感谢你

Answer 1

它列出了你不想机器人打的网址，这样可以保持页面进行搜索索引和被反复打击通过自动化的流程停止CPU密集型脚本。

的语法在robotstxt.org描述并基本上是一系列的：

User-agent: $PATTERN 

每个

后跟任意数量的

Disallow: $PATH_PREFIX 

Answer 2

请参DOC用于与robots.txt的所有信息。它基本上用于网页的搜索引擎索引。