BeautifulSoup获取innerhtml数据

Question

我正在尝试从网站读取数据。我可以看到我需要的值，但该值不会出现在下载的html代码中（使用urllib2）。该值由一些js文件创建，并作为该id的innerhtml嵌入到网页中。 PS：如何提取？原始的源代码不能呈现与浏览器不同的js！

Answer 1

获取数据的另一种方式是让浏览器使用Selenium完成所有工作，然后读取呈现的html。有点慢，但肯定有效。

在这里，你可以找到使用Selenium与Python中的入门指南： http://jimmyg.org/blog/2009/getting-started-with-selenium-and-python.html

Answer 2

有两种选择：让浏览器保存DOM（这包括脚本所做的所有更改）或使用JavaScript引擎执行嵌入式脚本。

对于后一种路由，请尝试使用基于Java的引擎，如Rhino，并使用env.js模拟浏览器。