列出熊猫中大相关矩阵的最高相关对？

Question

如何找到熊猫相关矩阵中的顶级相关性？关于如何用R（Show correlations as an ordered list, not as a large matrix或Efficient way to get highly correlated pairs from large data set in Python or R）做这个问题有很多答案，但我想知道如何用熊猫做到这一点？在我的情况下矩阵是4460x4460，所以不能在视觉上做到这一点。

Answer 1

您可以使用DataFrame.values获取数据的一个numpy数组，然后使用NumPy函数（如argsort()）获取最相关的对。

但是，如果你想这样做的熊猫，你可以unstack和order数据框：

import pandas as pd 
import numpy as np 

shape = (50, 4460) 

data = np.random.normal(size=shape) 

data[:, 1000] += data[:, 2000] 

df = pd.DataFrame(data) 

c = df.corr().abs() 

s = c.unstack() 
so = s.order(kind="quicksort") 

print so[-4470:-4460] 

这里是输出：

2192 1522 0.636198 
1522 2192 0.636198 
3677 2027 0.641817 
2027 3677 0.641817 
242 130  0.646760 
130 242  0.646760 
1171 2733 0.670048 
2733 1171 0.670048 
1000 2000 0.742340 
2000 1000 0.742340 
dtype: float64 

Answer 2

@ HYRY的答案是完美的。只是建立在这个答案通过增加多一点的逻辑，以避免重复和自相关性和适当的排序：

import pandas as pd 
d = {'x1': [1, 4, 4, 5, 6], 
    'x2': [0, 0, 8, 2, 4], 
    'x3': [2, 8, 8, 10, 12], 
    'x4': [-1, -4, -4, -4, -5]} 
df = pd.DataFrame(data = d) 
print("Data Frame") 
print(df) 
print() 

print("Correlation Matrix") 
print(df.corr()) 
print() 

def get_redundant_pairs(df): 
    '''Get diagonal and lower triangular pairs of correlation matrix''' 
    pairs_to_drop = set() 
    cols = df.columns 
    for i in range(0, df.shape[1]): 
     for j in range(0, i+1): 
      pairs_to_drop.add((cols[i], cols[j])) 
    return pairs_to_drop 

def get_top_abs_correlations(df, n=5): 
    au_corr = df.corr().abs().unstack() 
    labels_to_drop = get_redundant_pairs(df) 
    au_corr = au_corr.drop(labels=labels_to_drop).sort_values(ascending=False) 
    return au_corr[0:n] 

print("Top Absolute Correlations") 
print(get_top_abs_correlations(df, 3)) 

这让下面的输出：

Data Frame 
    x1 x2 x3 x4 
0 1 0 2 -1 
1 4 0 8 -4 
2 4 8 8 -4 
3 5 2 10 -4 
4 6 4 12 -5 

Correlation Matrix 
      x1  x2  x3  x4 
x1 1.000000 0.399298 1.000000 -0.969248 
x2 0.399298 1.000000 0.399298 -0.472866 
x3 1.000000 0.399298 1.000000 -0.969248 
x4 -0.969248 -0.472866 -0.969248 1.000000 

Top Absolute Correlations 
x1 x3 1.000000 
x3 x4 0.969248 
x1 x4 0.969248 
dtype: float64 

Answer 3

几行方案，不会对冗余的变量：

corr_matrix = df.corr().abs() 

#the matrix is symmetric so we need to extract upper triangle matrix without diagonal (k = 1) 
os = (corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(np.bool)) 
       .stack() 
       .order(ascending=False)) 
#first element of os series is the pair with the bigest correlation 

Answer 4

使用itertools.combinations摆脱熊猫自己的相关矩阵.corr()所有独特的相关性，生成列表的列表并将其反馈回DataFrame以便使用'.sort_values'。设置ascending = True以在顶部显示最低的相关性

corrank将DataFrame作为参数，因为它需要.corr()。

def corrank(X): 
     import itertools 
     df = pd.DataFrame([[(i,j),X.corr().loc[i,j]] for i,j in list(itertools.combinations(X.corr(), 2))],columns=['pairs','corr'])  
     print(df.sort_values(by='corr',ascending=False)) 

    corrank(X) # prints a descending list of correlation pair (Max on top)