用python光标逐行加载数据

Question

我试图解析一个非常大的MySQL表，它可能不适合内存。那我下面的方法是，使用pymysql：

db = PyMySQL.connect(**connection_params) 
cur = db.cursor() 
cur.execute('SELECT * FROM big_table') 
for row in cur: 
    process(row) 

我所观察到的是，cur.execute()数据急切地加载到内存中。是否有可能迭代行懒洋洋地？

我知道这可以结合LIMIT和OFFSET子句来完成，但可以以更透明的方式完成吗？

Answer 1

你可以得到的结果与数（cur.execute后）：

numrows = cur.rowcount 

然后，您可以通过迭代它们用一个简单的：

for num in xrange(0,numrows): 
    row = cursor.fetchone() 
do stuff...