构造相似度矩阵的最有效方法

我使用以下链接来创建“欧几里得相似矩阵”（即我转换为DataFrame）。 https://stats.stackexchange.com/questions/53068/euclidean-distance-score-and-similarity http://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.spatial.distance.euclidean.html 构造相似度矩阵的最有效方法

我做它的方式是其工作的一个迭代的方法，但它需要在数据集是大一会儿。 pandas pd.DataFrame.corr（）对于皮尔森相关性非常快速且有用。

如何在不进行穷举迭代的情况下执行欧式相似度量？

我天真下面的代码：

#Euclidean Similarity 

#Create DataFrame 
DF_var = pd.DataFrame.from_dict({"s1":[1.2,3.4,10.2],"s2":[1.4,3.1,10.7],"s3":[2.1,3.7,11.3],"s4":[1.5,3.2,10.9]}).T 
DF_var.columns = ["g1","g2","g3"] 
#  g1 g2 g3 
# s1 1.2 3.4 10.2 
# s2 1.4 3.1 10.7 
# s3 2.1 3.7 11.3 
# s4 1.5 3.2 10.9 

#Create empty matrix to fill 
M_euclid = np.zeros((DF_var.shape[1],DF_var.shape[1])) 

#Iterate through DataFrame columns to measure euclidean distance 
for i in range(DF_var.shape[1]): 
    u = DF_var[DF_var.columns[i]] 
    for j in range(DF_var.shape[1]): 
     v = DF_var[DF_var.columns[j]] 
     #Euclidean distance -> Euclidean similarity 
     M_euclid[i,j] = (1/(1+sp.spatial.distance.euclidean(u,v))) 
DF_euclid = pd.DataFrame(M_euclid,columns=DF_var.columns,index=DF_var.columns) 

#   g1  g2  g3 
# g1 1.000000 0.215963 0.051408 
# g2 0.215963 1.000000 0.063021 
# g3 0.051408 0.063021 1.000000

来源

2016-03-02 O.rka

有是scipy.spatial.distance中可以使用fo的两个有用函数r：pdist和squareform。使用pdist将给出观察值之间的成对距离作为一维数组，并且squareform将把它转换为距离矩阵。

一个问题是，pdist默认使用距离度量，而不是相似度，所以您需要手动指定相似度函数。根据代码中的注释输出来判断，您的DataFrame也不在pdist预期的方向，所以我已经取消了您在代码中执行的转置。

import pandas as pd 
from scipy.spatial.distance import euclidean, pdist, squareform 


def similarity_func(u, v): 
    return 1/(1+euclidean(u,v)) 

DF_var = pd.DataFrame.from_dict({"s1":[1.2,3.4,10.2],"s2":[1.4,3.1,10.7],"s3":[2.1,3.7,11.3],"s4":[1.5,3.2,10.9]}) 
DF_var.index = ["g1","g2","g3"] 

dists = pdist(DF_var, similarity_func) 
DF_euclid = pd.DataFrame(squareform(dists), columns=DF_var.index, index=DF_var.index)

来源

2016-03-02 22:02:21 root

Hey @root，感谢您澄清使用pdist和squareform！为什么相似函数之后的对角矩阵为0.0？ –

注意！对角线可以通过凯文在@ B.M的回答中的评论来解决。 –

你想scipy.spatial.distance.pdist或sklearn.metrics.pairwise.pairwise_distances

来源

2016-03-02 21:56:42 maxymoo

我想你可以只使用pdist和squareform直接在数据帧广播：

from scipy.spatial.distance import pdist,squareform 

In [6]: squareform(pdist(DF_var, metric='euclidean')) 

Out[6]: 
array([[ 0.  , 0.6164414 , 1.4525839 , 0.78740079], 
     [ 0.6164414 , 0.  , 1.1  , 0.24494897], 
     [ 1.4525839 , 1.1  , 0.  , 0.87749644], 
     [ 0.78740079, 0.24494897, 0.87749644, 0.  ]])

来源

2016-03-02 22:00:41 Kevin

移调第一：在[247]：1 /（1个+ squareform（pdist（DF_var.T）））缺货[247]：阵列（[[1，0.21596281，0.05140761]， [ 0.21596281，1.，0.06302091]， [0.05140761,0.06302091,1]]） –

构造相似度矩阵的最有效方法

回答

相关问题