2013-07-29 80 views
0

我正在尝试获取该班级的所有网址='profile-search-school-link',但甚至无法获得汤对象。为什么我的汤是空的?

我做到以下几点:

site = "http://www.geteducated.com/profiles/search/Computer%20Science%20%26%20IT&SS=Search%20by%20Subject%20%3E%20Computer%20Science%20%26%20IT/?start=15" 

""" gets a list of the urls for the degree programs """ 
r = requests.get(site) 
html_source = r.text 
soup = BeautifulSoup(html_source) 

print(soup.prettify()) 

输出:

<class 'bs4.BeautifulSoup'> # print statement 
[] # my depressingly empty soup 
  1. 这是怎么回事的代码?当我粘贴到我的浏览器时,链接不会中断。

  2. 如何获取网址?

回答

1

我不知道你,但我的链接被打破 - 这可能是你的第一个问题;)

我得到一个错误代码500响应


嗯所以它在第一次转到基础网址时没有启动。

ahh我想这是因为在您第一次访问网站后,它会将内容存储在本地存储中 - 例如,饼干。

我建议使用CookieLib

+0

当我贴到我的浏览器...... – goldisfine

+1

它不会对我的压力也不会中断);美丽的汤不能这样做,除非你启用cookies。你可以脱掉/?start = 15。那对我很有用。 – sihrc