Python的psycopg2 - 大数据

Question

工作我试图从一个数据库（PostgreSQL系统）传输大量数据（15二）其他与Python/psycopg2的码头工人。我的码头有4 GB的内存，并且内存不足。

我做错了什么？

cursor = conn.cursor() 
cursor.execute('select * from schema.table') 
for row in cursor: 
    tp = tuple(map(lambda x: x.encode('utf-8'), row) 
    cursor.execute('Insert into table2 values {}'.format(tp)) 
    conn.commit() 

Answer 1

使用copy_to and copy_from

f = open('t.txt', 'wb') 
conn = psycopg2.connect(database='source_db') 
cursor = conn.cursor() 
cursor.copy_to(f, 'source_table') 
conn.close() 
f.close() 

f = open('t.txt', 'r') 
conn = psycopg2.connect(database='target_db') 
cursor = conn.cursor() 
cursor.copy_from(f, 'target_table') 
conn.close() 
f.close()