使用perl处理404和内部服务器错误WWW :: Mechanize

Question

我使用WWW :: Mechanize来抓取网站，除了有时它会打到返回错误代码404或500（找不到或内部的页面服务器错误），然后我的脚本就会退出并停止运行。这实际上与我的数据收集有关，所以无论如何WWW :: Mechanize会让我发现这些错误并查看返回的错误代码类型（即404,500等）。谢谢您的帮助！

Answer 1

你需要禁用自动检查：

my $mech = WWW::Mechanize->new(autocheck => 0); 

$mech->get("http://somedomain.com"); 

if ($mech->success()) { 
    ... 
} 
else { 
    print "status is: " . $mech->status; 
} 

而且，顺便说一句，看看WWW::Mechanize::Cached::GZip和WWW::Mechanize::Cached测试你的机甲脚本时，以加快发展。

Answer 2

关闭autocheck并手动检查status()，它会返回响应的HTTP状态码。

这就好比一个3位数字为行，为未找到，等等。

use strict; 
use warnings; 
use WWW::Mechanize; 

my $url = 'http://...'; 
my $mech = WWW::Mechanize->new(autocheck => 0); 
$mech->get($url); 

print $mech->status(); 

见http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html为状态代码定义。

如果状态代码为400以上，那么你得到错误 ...