美丽的汤| Python | URL循环

Question

希望这是一个容易的。我已经浏览了大部分与我的查询相关的有效帖子（并从每个代码片段中获取了代码片段），以便将其应用到我自己的代码中，但出于某种原因，我没有太多运气。

从本质上讲，我想要实现的是以下几点：

• 遍历上realestate.com第3页 - 出售价格
• 获取地址与出售价格
• 认沽值到熊猫DataFrame

如果我执行下面的块（没有URL循环），它适用于页1。我需要的是它通过前三页，并返回所有20列表 （每页）。

empty_list = [] 

for page_number in range(3): 
    url_test = "https://www.realestate.com.au/sold/list-{}?activeSort=solddate".format(page_number) 
    r = requests.get(url_test) 
    soup = BeautifulSoup(r.text, "html.parser") 
    results_price = soup.find_all('span', attrs={'class':'property-price'}) 
    results_info = soup.find_all('div', attrs={'class':'property-card__info'}) 
    raw_html1 = results_price[page_number] 
    clean_price = raw_html1.text 
    raw_html2 = results_info[page_number] 
    street = raw_html2.find('a').text 
    empty_list.append((street, clean_price)) 

df = pd.DataFrame(empty_list, columns=["Address", "Sold_Price"]) 

错误：IndexError：列表索引超出范围

我错过了什么昭然若揭？

任何帮助将不胜感激。

亲切的问候， 阿德里安

Answer 1

range(3)没有开始在1.从0开始。如果你希望它在一个开始，map范围由一个递增每个号码。

for page_number in list(map(lambda x: x+1, range(3))): 
    ... 

请参阅有关如何使用range的文档。

增加一个额外的for循环中：

for p in range(20): 
     raw_html1 = results_price[p] 
     clean_price = raw_html1.text 
     raw_html2 = results_info[p] 
     street = raw_html2.find('a').text 
     empty_list.append((street, clean_price)) 

所以整个代码应该是这样的：

for page_number in list(map(lambda x: x+1, range(3))): 
    url_test = "https://www.realestate.com.au/sold/list-{}? 
    activeSort=solddate".format(page_number) 
    r = requests.get(url_test) 
    soup = BeautifulSoup(r.text, "html.parser") 
    results_price = soup.find_all('span', attrs={'class':'property-price'}) 
    results_info = soup.find_all('div', attrs={'class':'property-card__info'}) 
    for p in range(20): 
      raw_html1 = results_price[p] 
      clean_price = raw_html1.text 
      raw_html2 = results_info[p] 
      street = raw_html2.find('a').text 
      empty_list.append((street, clean_price))