从2D名单

Question

我有一个像字典的列表中删除异常值：

t = [{k: 1, 'a': 22, 'b': 59}, {k: 2, 'a': 21, 'b': 34}, {'k': 3, 'a': 991, 'b': 29}, {'k': 4, 'a': 45, 'b': 11}, {'k': 5, 'a'; 211, 'b': 77}, {'k': 6, 'a': 100, 'b': 1024}] 

如何从它删除异常值，这样我可以有一个是围绕一些有意义的价值为中心的一切或者它没有价值，其太大还是太小？

谢谢。

Answer 1

以此为起点，你可以把你的数据变成记录阵列：

import numpy as np 
t = [{'k': 1, 'a': 22, 'b': 59}, {'k': 2, 'a': 21, 'b': 34}, {'k': 3, 'a': 991, 'b': 29}, {'k': 4, 'a': 45, 'b': 11}, {'k': 5, 'a': 211, 'b': 77}, {'k': 6, 'a': 100, 'b': 1024}] 
foo = np.core.records.fromrecords([x.values() for x in t], names=t[0].keys()) 

这使得一些容易分析：

In [34]: foo.a.mean(), foo.a.std() 
Out[34]: (231.66666666666666, 345.81674659018785) 

In [35]: foo.b.mean(), foo.b.std() 
Out[35]: (205.66666666666666, 366.58590019560518) 

也许你可以找一个箱形图离群？

from matplotlib import pyplot 
pyplot.boxplot([foo.a, foo.b]) 
pyplot.show() 

或者，您也可以在数据的第90百分位中找到值：

In [40]: foo.a[foo.a < np.percentile(foo.a, 90)] 
Out[40]: array([ 22, 21, 45, 211, 100]) 

，并选择非离群k值：

outlier_mask = (foo.a < np.percentile(foo.a, 90)) & (foo.b < np.percentile(foo.b, 90)) 
foo.k[outlier_mask] 

当然，如何你决定哪些值是异常值取决于你。

Answer 2

下面的代码找到离平均值最远的点，将其删除，然后再次检查平均值。如果移除该点导致平均值小于给定的容差（通过对旧平均值的百分比变化），则移动被拒绝并返回旧列表。否则，新列表将保留，并且过程继续。

t = [{'a': 22, 'b': 59, 'k': 1}, 
{'a': 21, 'b': 34, 'k': 2}, 
{'a': 991, 'b': 29, 'k': 3}, 
{'a': 45, 'b': 11, 'k': 4}, 
{'a': 211, 'b': 77, 'k': 5}, 
{'a': 100, 'b': 1024, 'k': 6}] 

K = [te['k'] for te in t] 
A = [te['a'] for te in t] 
B = [te['b'] for te in t] 

data = zip(K,A,B) 

def mean(A): 
    return sum(A)/float(len(A)) 

def max_deviation(A): 
    mu = mean(A) 
    dev = [(a, abs(a-mu)) for a in A] 
    dev.sort(key=lambda k: k[1], reverse=True) 
    return dev[0][0] 

def remove_outliers(A, tol=.3): 
    mu = mean(A) 
    A_prime = list(a for a in A if a != max_deviation(A)) 
    mu_prime = mean(A_prime) 
    if abs(mu_prime - mu)/float(mu) > tol: 
     return remove_outliers(A_prime, tol) 
    else: 
     return A 

t_prime = [dict(k=k, a=a, b=b) for k, a, b in data 
      if a in remove_outliers(A) and b in remove_outliers(B)] 

>>> print t_prime 
[{'a': 22, 'b': 59, 'k': 1}, 
{'a': 21, 'b': 34, 'k': 2}, 
{'a': 45, 'b': 11, 'k': 4}] 

编辑：因为它是去除一个值，而不是创建N-1的值的这可能比例更好。这将修改原始的A矢量。如果你不想这样做，那么第一个选项将是你的最佳选择，或者先发送一份副本。

def remove_outliers(A, tol=.3): 
    mu = mean(A) 
    out = max_deviation(A) 
    A.remove(out) 
    mu_prime = mean(A) 
    if abs(mu_prime - mu)/float(mu) > tol: 
     return remove_outliers(A, tol) 
    else: 
     A.append(out) 
     return A