今天我偶然发现了一个名为'error.log'的web主机上的文件夹。我想我会看看。error.log中列出的文件缺失
我看到多个 '文件不存在' 的错误 - 有三种类型的条目：
我有什么，这些文件被用于一些猜测，但想确切了解：
A robots.txt文件被网络爬虫/机器人读取以允许/禁止它在您的服务器上抓取资源。然而，机器人读取这个文件并不是强制性的，但好的是这样做的。有在http://en.wikipedia.org/wiki/Robots.txt一些进一步的实例的实例文件可能看起来像，并会驻留在网站根目录：
User-agent: * # All robots
Disallow:/ # Do not enter website
或
User-Agent: googlebot # For this robot
Disallow: /something # do not enter
的apple-touch-icon-precomposed.png是解释https://stackoverflow.com/a/12683605/722238
我相信使用missing.html被某些人用作自定义的404页面。机器人可能被配置为删除此文件，因此可能会请求它。
如果您想要控制机械手将刮掉服务器的资源，则应该添加一个robots.txt文件。如前所述，机器人读取此文件并非强制性要求。
如果你想添加其他两个文件来删除错误信息，但是，我不认为这是必要的。没有什么可说的，joe_random不会在您的服务器上发出请求/somerandomfile.txt，在这种情况下，您将得到另一个不存在的文件的错误消息。然后你可以将它们重定向到一个自定义的404页面。