使用requests.get方法无限滚动python

是否可以使用get方法实现无限读取废料。例如，使用requests.get方法无限滚动python

http://www.justdial.com/Ahmedabad/Bearing-Dealers/ct-302676

给出以下链接，当我们下滚动每一页

http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city=Ahmedabad&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page=2&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc= 

http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city=Ahmedabad&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page=3&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc=

到目前为止我的代码看起来像：

import requests 

def readJustDial(c): 
    hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 
      'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
      'Accept-Encoding': 'none', 
      'Accept-Language': 'en-US,en;q=0.8', 
      'Connection': 'keep-alive'}  
    for i in range(1,10): 
     url = 'http://www.justdial.com/functions/ajxsearch.php?national_search=0&act=pagination&city='+str(c)+'&search=Bearing+Dealers&where=&catid=302676&psearch=&prid=&page='+str(i)+'&SID=&mntypgrp=0&toknbkt=&bookDate=&jdsrc=' 
     page = requests.get(url,hdr) 

def main(): #this is main function of this program 
    allCities=["Ahmedabad","Hyderabad","Bangalore","Kolkata","Chennai","Mumbai","Delhi-NCR","Pune"] 
    for city in allCities: 
     readJustDial(city) 
     #print(city) 

if __name__ == "__main__": 
    main()

也请提出任何改变，我可以做到我现有的代码。我只是学习Python，所以任何建议都会很好。

来源

2016-11-27 Bhavesh Ghodasara

对我来说很好。你的代码如何不能满足你的需求？ – Ouroborus

@Ouroborusaccess denied ...如果您尝试打开该页面（第2页或第3页），您实际上无法在浏览器中打开该页面，它会显示空白列表。为什么？ –

看起来像referer和饼干是必需的。 – Ouroborus

尝试模仿正常工作浏览器xhr请求附带的标头。你可以使用浏览器的开发工具（我使用chrome）来查看这些头文件。当我看的要求，我看到它与这些头发送：

Accept:application/json, text/javascript, */*; q=0.01 
Accept-Encoding:gzip, deflate, sdch 
Accept-Language:he-IL,he;q=0.8,en-US;q=0.6,en;q=0.4 
Connection:keep-alive 
Cookie:f5avrbbbbbbbbbbbbbbbb=BEKIPCFANCEHKADKNPJJJLHGCDKJOEEGKIIEPAAPHGEDJDNKFFBPCKEGMMIAECHOLECIMLJDAICKIFECEPMNKJNMKIDIMHPCOMHNNHMANENHHKEGMABPKFGKBAPGCHCJ; ppc=; PHPSESSID=bh34mlv2ba4gmgbntjtsjtt753; www=1712105664.20480.0000; _gat=1; scity=Ahmedabad; sarea=; dealBackCity=Ahmedabad; inweb_city=Ahmedabad; profbd=0; bdcheck=1; _ga=GA1.2.338746795.1480258713; tab=toprs; BDprofile=1; prevcatid=302676; view=lst_v; main_city=Ahmedabad 
Host:www.justdial.com 
Referer:http://www.justdial.com/Ahmedabad/Bearing-Dealers/ct-302676 
User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 
X-Requested-With:XMLHttpRequest

尝试发送一个请求与这些头，除了饼干（通常他们只是暂时的工作）。

如果这也行不通，那么您需要cookie。您可以使用浏览器（例如使用硒），也可以对网页或Cookie进行一些逆向工程，并尝试编写获取工作cookie的方法。

来源

2016-11-27 15:12:21

使用requests.get方法无限滚动python

回答

相关问题