Python grequests问题

Question

我想在使用python的grequests库的同时调用几个url。问题是我不太了解grequests的逻辑。下面是我的代码示例（编辑版本）： -

respArray = [] 
response = [] 
sessionvar = requests.Session() 
sessionvar.trust_env = False 
for each in range(0,len(urls)): 
     response.append(grequests.get(urls[each],session=sessionvar,cookies=cookiesArray[each])) 
     eachresp = grequests.map(response) 
for r in eachresp: 
    respArray.append(r.json()) 

return respArray 

我的respArray返回从urls返回的每个单独的数组。 当我运行该数组时，就像每个人都在自己的循环中运行一样，而不是同时运行。我没有得到我如何得到它同时运行，以便我得到更快的结果..任何帮助将不胜感激。

Answer 1

此代码：

for each in range(0,len(urls)): 
     response.append(grequests.get(urls[each],session=sessionvar,cookies=cookiesArray[each])) 
     eachresp = grequests.map(response) 
for r in eachresp: 
    respArray.append(r.json()) 

被有效地发送每个请求顺序。您发送的URL，并等待grequests发送每个循环迭代。

基本上它看起来像：

• 循环迭代，等待请求
• 循环迭代，等待请求

等

您需要遵循怎样their documentation suggests：

# Build a list of unsent requests 
requests = (grequests.get(url) for url in urls) 
# Send them all at once 
results = grequests.map(requests) 
return [r.json() for r in results] 

这将建立你的未发送请求清单，然后然后将它们全部发送。换句话说：

• 循环迭代，创建未发送的请求
• 循环迭代，创建未发送的请求
• ...
• 发送所有同时请求