Python gevent我没有看到猴子打开默认文件打开/读取/写入/关闭，如何使文件io gevent异步

Question

在gevent猴子补丁中，我没有看到任何关于默认文件对象的操作。 如何在基于gevent的程序中使用异步文件读/写？

Answer 1

只是做了一个测试，说，写一个大文件将阻止事件循环

#!/usr/bin/env python 
import gevent 
import datetime 


def hi(): 
    while True: 
     print datetime.datetime.now(), "Hello" 
     gevent.sleep(1) 

def w(): 
    print "writing..." 
    s = "*"*(1024*1024*1024) 
    f = open("e:/a.txt", "wb") 
    f.write(s) 
    f.close() 

t1 = gevent.spawn(hi) 
t2 = gevent.spawn(w) 
ts = [t1,t2] 
gevent.joinall(ts) 

的结果是这样的：

e:\zPython\zTest>gevent.write.large.file.py 
writing... # wait a long time here 
write done. 
2012-07-16 09:53:23.784000 Hello 
2012-07-16 09:53:24.786000 Hello 
2012-07-16 09:53:25.788000 Hello 

Answer 2

你可以使用一个线程池（从GEVENT 1.0） ：

>>> import gevent.threadpool 
>>> pool = gevent.threadpool.ThreadPool(5) 
>>> pool.apply(w) 

Answer 3

您可以使用gevent的fileobject.FileObjectThreadPool类，可用于1.0 B3：

pip install http://gevent.googlecode.com/files/gevent-1.0b3.tar.gz#egg=gevent 

然后你的榜样将成为：

#!/usr/bin/env python 
import gevent 
from gevent.fileobject import FileObjectThreadPool 
import datetime 


def hi(): 
    while True: 
     print datetime.datetime.now(), "Hello" 
     gevent.sleep(1) 

def w(): 
    print "writing..." 
    s = "*"*(1024*1024*1024) 
    print 'about to open' 
    f_raw = open("./a.txt", "wb") 
    f = FileObjectThreadPool(f_raw, 'wb') 
    f.write(s) 
    f.close() 
    print 'write done' 

t1 = gevent.spawn(hi) 
t2 = gevent.spawn(w) 
ts = [t1,t2] 
gevent.joinall(ts) 

我看到这些代码的输出如下：

writing... 
about to open 
2012-08-13 13:00:27.876202 Hello 
2012-08-13 13:00:28.881119 Hello 
2012-08-13 13:00:29.959642 Hello 
... 
2012-08-13 13:00:58.010001 Hello 
2012-08-13 13:00:59.010146 Hello  
2012-08-13 13:01:00.010248 Hello 
write done 
2012-08-13 13:01:01.469547 Hello 
...