我有一个Perl脚本,它使用LWP::UserAgent下载一个网页,然后使用正则表达式进行处理。问题在于网页中普通的HTML部分没有被返回到LWP :: UserAgent,因为该网站认识到浏览器没有安装Flash,而是返回HTML提示我们下载Flash,而不是适当的HTML我们需要解析。如何让LWP :: UserAgent显示安装Flash?
我怎样才能让LWP :: UserAgent的出现有安装到我们从请求页面的Web服务器闪存?我正在使用以下代码来初始化LWP :: UserAgent:
use LWP::UserAgent;
my $ua = LWP::UserAgent->new(cookie_jar => { },requests_redirectable => [ ]);
$ua->agent('Mozilla/5.0 (X11; U; FreeBSD i386; en-US; rv:9.9.9.9) Gecko/20079999 Firefox/2.0.0.1');
$ua->timeout(10);
在此先感谢您的帮助!
“下载一个网页,然后使用正则表达式进行处理”。天啊。 – jrockway 2010-02-07 00:33:51
看看这个页面:http://stackoverflow.com/questions/2124560/how-can-i-make-lwpuseragent-look-like-another-browser/2124775#2124775 哪里我回答这个问题。总之,如果在头Accept/User-Agent中完成检测,这很简单。如果使用flash或javascript完成检测,则可能会更困难。无论哪种方式,你需要知道你发送给服务器的是什么,以及你回来了什么。 – 2010-02-07 19:40:57