我有一个大型的全局重新数组,总共有30GB的数据通过qsub在256GB内存的集群上运行。我目前是该群集中的唯一用户,因此与RAM的分配没有冲突。当循环播放此重新数组时,系统似乎将对象分流到光盘,而不是将其保存在RAM中,从而使循环减慢超过5倍。我一直在看以下方式在对象上使用mmap,并收到以下错误。 m = mmap.mmap(myrecarray, 0)
MMAP TypeError: on
我想子类numpy recarrays并能够创建该类的视图。例如: _Theta = np.dtype([('v', '<f8'), ('a', '<f8'), ('w', '<f8')])
class Theta(np.recarray):
''' Defines a class for the parameters of a DDM model. '''
def __
我只想从ntype数组中获取dtype的列表或字典。认为这将是一个容易,但它不是可以通过。我看了其他地方却找不到答案。 JN是recarray [OrderedDict(row) for i, row in jn.iterrows()]
jn.index.dtype
dtype('object')
jn.to_records()
#this put out record dtype
jn