我对网络抓取很陌生。我想从here那里获取数据,主要是有关国家的年份,国家和国内生产总值的权利数据。如何使用Python从本网站刮取所有数据
我的代码如下:
from urllib.request import urlopen
from bs4 import BeautifulSoup
data = "http://databank.worldbank.org/data/reports.aspx?source=2&series=NY.GDP.MKTP.CD&country=#"
page = urlopen(data)
soup = BeautifulSoup(page,'html.parser')
name_box = soup.find('div',attrs = {'class':'canvas'})
name = name_box.text.strip()
print(name)
我可以得到的数据却是只有那些在顶部10+。
所以我的问题是,当数据不在页面本身(即从别处导入)时,如何解决这些问题。 预先感谢您的任何意见。
搜索JavaScript呈现,使用Chrome开发人员工具检查请求,或使用硒 – eLRuLL
(1)您尝试打开的URL中有空白。 (2)你试图接收哪些数据? –
感谢您指出这一点,这是网站:http://databank.worldbank.org/data/reports.aspx?source=2&series=NY.GDP.MKTP.CD&country=#否则你可以点击'这里'在题。 – learnandshare