通常，我应该怎样做才能响应搜索引擎机器人请求的错误格式

Question

例如，我有一个动作可以响应我网站上的json ajax请求。

最近我发现很多搜索引擎机器人请求带有html请求的端点引起的错误。

处理这个问题的最佳做法是什么？我应该只是回应错误格式，或者我应该创建一个页面，只是因为搜索引擎机器人会抓取？我正在使用Rails，具体的建议会更好。

非常感谢。

Answer 1

这里的最佳实践是使用代理服务器处理它们（例如nginx）。你可以做什么在这里：

• 您public目录中创建robots.txt文件，并创建相应的规则（见here）。但是，由于它们只是规则，所以它们都不必遵守。
• 创建nginx规则来拒绝看起来像机器人请求使用$http_user_agent，e.g：Blocking all bots except a few with Nginx