gevent和socksipy

Question

我想知道是否有人尝试使用[gevent] [1]和[socksipy] [2]进行并发下载。

Answer 1

我已经使用gevent从yfrog，instagram，twitpic等下载〜12k图片。 图片的累积大小约为1.5Gb，花费大约20分钟的时间将它们全部下载到我家的wifi上。

为此，我实现了一个image_download函数，其唯一目的是从给定URL下载图片，然后使用gevent.Pool异步映射image_download函数上的URL列表。

from gevent import monkey 
monkey.patch_socket() # See http://www.gevent.org/gevent.monkey.html 
import gevent 

NB_WORKERS = 50 

def image_download(url): 
    # retrieve image 

def parallel_image_download(urls): # urls is of type list 
    """ Activate NB_WORKERS Greenlets to asynchronously download the images. """ 
    pool = gevent.Pool(NB_WORKERS) 
    return pool.map(image_download, urls) 

注：经过几次尝试，我找到了50名并行工人。通过50，总运行时间没有增加。