以编程方式搜索雅虎

Question

我刮yahoo搜索结果，但我得到502 => Net::HTTPBadGateway。究竟是什么导致错误？这是否意味着yahoo检测到我的机器人并禁止我的IP？

Answer 1

打印Response对象到控制台（我建议awesome_print此），

但其....完全常规的搜索引擎到分组形状，油门或块履带。我不知道如果雅虎这样做，但谷歌肯定做

你可以考虑http://commoncrawl.org代替

Answer 2

是的，他们是阻止您的机器人，所有的大搜索引擎有防御，以防止结果页刮。不过，Google和Bing都提供了一个免费的搜索API，您可以使用它来提供您的机器人。