我怎样才能平行解析python？

Question

我有下面的代码，其将图形从边列表邻接矩阵：

for line in open('graph.txt'): 
    converted = [sparse_to_dense.get(int(ID)) for ID in line.split()] 
    i = converted[0] 
    j = converted[1] 
    I.append(i) 
    J.append(j) 
n = max([max(I), max(J)]) + 1 
data = [1]*len(I) 
return coo_matrix((data, (I,J)), shape=(n,n), dtype='i1') 

此代码是非常缓慢 - 上的500K边缘可以机转换发生小时。另一方面，I/O显然不是瓶颈（我几乎可以瞬间读完内存中的完整文件），所以我认为有一个并行的空间。但我不知道如何继续：我应该平行读文件吗？

Answer 1

使用多重处理的一种方法就是这样做。我没有检查，并可以进一步改进

import multiprocessing 


class Worker(multiprocessing.Process): 

    def __init__(self, queue, results): 
     multiprocessing.Process.__init__(self): 
     self.q = queue 
     self.results = results 

    def run(self): 
     while True: 
      try: 
       lineno, linecontents = self.q.get(block=False) 
      except Queue.Empty: 
       break 
      converted = [sparse_to_dense.get(int(ID)) for ID in line.split()] 
      i = converted[0] 
      j = converted[1] 
      self.results.put((i, j)) 


def main(): 
    q = multiprocessing.Queue() 
    results = multiprocessing.JoinableQueue() 

    for i, l in open(fname): 
     q.put((i, l)) 

    for _ in xrange(4): 
     w = Worker(q, results) 
     w.start() 

    I, J = [] 
    while True: 
     try: 
      i, j = results.get(block=False) 
     except Queue.Empty: 
     break 
    I.append(i) 
    J.append(j) 
    results.task_done() 

    results.join() 

    n = max([max(I), max(J)]) + 1 
    data = [1]*len(I) 
    coo = coo_matrix((data, (I,J)), shape=(n,n), dtype='i1')