以总阵列（numpy的或不）Python的方式

Question

我想作一个数组中一个不错的功能，以汇总数据（这是一个numpy的记录阵列，但它不会改变任何东西）

你有一个数组数据要一个轴之间聚集：例如dtype=[(name, (np.str_,8), (job, (np.str_,8), (income, np.uint32)]数组，你想有每个作业

平均收入我做了这个功能，并且在本例中它应该被称为aggregate(data,'job','income',mean)

---

def aggregate(data, key, value, func): 

    data_per_key = {} 

    for k,v in zip(data[key], data[value]): 

     if k not in data_per_key.keys(): 

      data_per_key[k]=[] 

     data_per_key[k].append(v) 

    return [(k,func(data_per_key[k])) for k in data_per_key.keys()] 

---

问题是我觉得它不是很好我想把它放在一行中：你有什么想法吗？

谢谢您的回答路易

PS：我想保持FUNC在通话，让你也可以要求值，最小值......

Answer 1

也许你正在寻找的功能是matplotlib.mlab.rec_groupby：

import matplotlib.mlab 

data=np.array(
    [('Aaron','Digger',1), 
    ('Bill','Planter',2), 
    ('Carl','Waterer',3), 
    ('Darlene','Planter',3), 
    ('Earl','Digger',7)], 
    dtype=[('name', np.str_,8), ('job', np.str_,8), ('income', np.uint32)]) 

result=matplotlib.mlab.rec_groupby(data, ('job',), (('income',np.mean,'avg_income'),)) 

产量

('Digger', 4.0) 
('Planter', 2.5) 
('Waterer', 3.0) 

matplotlib.mlab.rec_groupby返回一个recarray：

print(result.dtype) 
# [('job', '|S7'), ('avg_income', '<f8')] 

---

您可能也有兴趣检出pandas，它甚至有more versatile facilities用于处理group-by operations。

Answer 2

http://python.net/~goodger/projects/pycon/2007/idiomatic/handout.html#dictionary-get-method

应有助于使它更漂亮，更pythonic，可能更高效。我稍后会回来检查你的进度。也许你可以用这个想法编辑这个函数？另请参阅接下来的几节。

Answer 3

您的if k not in data_per_key.keys()可以改写为if k not in data_per_key，但您可以使用defaultdict做得更好。下面是一个使用defaultdict摆脱生存确认的一个版本：

import collections 

def aggregate(data, key, value, func): 
    data_per_key = collections.defaultdict(list) 
    for k,v in zip(data[key], data[value]): 
     data_per_key[k].append(v) 

    return [(k,func(data_per_key[k])) for k in data_per_key.keys()] 

Answer 4

Here是一个模拟matlabs accumarray功能相当好的配方。它很好地使用pythons迭代器，但是，与matlab实现相比，它表现得更糟。由于我有同样的问题，我用scipy.weave写了一个实现。你可以在这里找到它：https://github.com/ml31415/accumarray

Answer 5

最佳的灵活性和可读性使用GET pandas：

import pandas 

data=np.array(
    [('Aaron','Digger',1), 
    ('Bill','Planter',2), 
    ('Carl','Waterer',3), 
    ('Darlene','Planter',3), 
    ('Earl','Digger',7)], 
    dtype=[('name', np.str_,8), ('job', np.str_,8), ('income', np.uint32)]) 

df = pandas.DataFrame(data) 
result = df.groupby('job').mean() 

产量到：

  income 
job 
Digger  4.0 
Planter  2.5 
Waterer  3.0 

大熊猫据帧是一个伟大的类的工作，但你可以根据需要取回结果：

result.to_records() 
result.to_dict() 
result.to_csv() 

等......

Answer 6

最佳性能是使用ndimage.mean从scipy实现。这将是比这个小数据集接受的答案快两倍，并更快更大的投入约3.5倍：

from scipy import ndimage 

data=np.array(
    [('Aaron','Digger',1), 
    ('Bill','Planter',2), 
    ('Carl','Waterer',3), 
    ('Darlene','Planter',3), 
    ('Earl','Digger',7)], 
    dtype=[('name', np.str_,8), ('job', np.str_,8), ('income', np.uint32)]) 

unique = np.unique(data['job']) 
result=np.dstack([unique, ndimage.mean(data['income'], data['job'], unique)]) 

将产生于：

array([[['Digger', '4.0'], 
     ['Planter', '2.5'], 
     ['Waterer', '3.0']]], 
     dtype='|S32') 

编辑：用bincount

（快！）

这比小示例输入的接受答案快大约5倍，如果重复数据100000次，它将快8.5倍左右：

unique, uniqueInd, uniqueCount = np.unique(data['job'], return_inverse=True, return_counts=True) 
means = np.bincount(uniqueInd, data['income'])/uniqueCount 
return np.dstack([unique, means])