Python中动态网页抓取

Question

如何在Python中抓取动态上传的网页？
在Python中可能吗？

就像使用Beautifulsoup时一样，我们只能抓取网页的静态内容。
但我想刮一个动态上传的网页。

Answer 1

您可以使用包mechanize来完成您在浏览器中执行的大多数操作。

Andy Lester的Perl模块WWW :: Mechanize之后的有状态编程Web浏览。

mechanize.Browser实现了urllib2.OpenerDirector接口。浏览器对象具有状态，包括导航历史记录，HTML表单状态，Cookie等。由Browser对象处理的一组功能和URL方案是可配置的。该库还提供了一个与urllib2大部分兼容的API：如果将“urllib2”替换为“mechanize”，则urllib2程序可能仍然有效。功能包括：ftp：，http：和文件：URL模式，浏览器历史记录，超链接和HTML表单支持，HTTP cookie，HTTP-EQUIV和刷新，Referer [sic]标题，robots.txt，重定向，代理服务器，和基本和摘要HTTP认证。