爬虫程序会在什么时候通知页面是404？

Question

我一直在考虑使用php脚本作为404页面和数据库来匹配原始页面的URI与可能的重定向（如果存在的话）（否则显示404 HTML）。

我正在做一些阅读和搜索，并遇到了这个问题301 redirect with PHP and MySQL on 404。这正是我期望做的。

我有一个问题，从这导致并阻止了我试图实现它。爬虫会在什么时候被告知页面是404？

我想假设客户端（无论是用户还是机器人）都会请求页面，服务器会获取404脚本+页面，解析php，然后返回404页面或匹配的重定向页面客户。这是正确的吗？在页面返回之前，客户是否会忘记404状态？

Answer 1

直到返回页面，客户是否会忘记404状态？

是的。你不知道你会得到一个404错误，直到你收到请求的回应。