Python 3.6：如何从动态页面获取内容？

Question

我想从这个网页“http://www.fibalivestats.com/u/ACBS/333409/pbp.html”这段代码的内容：

r = requests.get("http://www.fibalivestats.com/u/ACBS/333409/pbp.html") 
if r.status_code != 200: 
    print("Error!!!") 

html = r.content 
soup = BeautifulSoup(html, "html.parser") 
print(soup) 

我也得到了页面的模板，但没有关联到每个标签的数据。

如何获取数据？我是Python新手。

Answer 1

在这种情况下，您的JavaScript没有被触发，因此它没有填充元素。我建议你使用像Selenium这样的webdriver，如here所示。

它会模仿浏览器并执行Javascript。下面是一个例子。

from selenium import webdriver 
browser = webdriver.Firefox() 
browser.get("http://www.fibalivestats.com/u/ACBS/333409/pbp.html") 
html_source = browser.page_source 
soup = BeautifulSoup(html_source, "html.parser")