数据帧的.loc通过这段代码泄漏内存

Question

我已经确定另一存储与熊猫泄漏：计算机存储器的

import pandas as pd 
    store = pd.HDFStore(hdf[0]) 
    par = store[hdf[1]][:, hdf[2]] 
    store.close() 

    for pixel in pix_fac.itervalues(): 
    fac = pixel[4][::2] 
    meas = array(par.loc[fac]) 

100％是达到在若干秒，冻结一切。我使用的是Debian 2.30，Intel i5,8 GB RAM。

我相信这与下列问题有关：

memory leak in creating a buffer with pandas?

Memory leak using pandas dataframe

有人知道如何可以我处理这个泄漏？我真的必须使用.loc方法来检索每次迭代的特定参数。

Answer 1

你可以每隔一段时间尝试一下gc.collect()。

更好，请执行：par = par.T，并通过par[fac]选择。这样你就不会每次都得到一个横截面，根据定义，当你保持对它的引用时，它会创建一个副本（并且容易分配内存）。

更好的做法是重构此计算以避免此类选择并将其向量化。