gensim：自定义相似性度量

Question

使用gensim，我想计算文档列表中的相似度。这个库在处理我得到的数据量方面非常出色。这些文件全部缩减为时间戳，并且我有一个功能time_similarity来比较它们。然而，gensim使用余弦相似度。

我想知道是否有人曾经尝试过或有过不同的解决方案。

Answer 1

可以通过从接口SimilarityABC继承来做到这一点。我没有找到任何文件，但它看起来像之前已经完成定义Word Mover Distance similarity。这是一个通用的方法来做到这一点。通过专注于您所关心的相似性度量，您可能会更有效率。

import numpy 
from gensim import interfaces 

class CustomSimilarity(interfaces.SimilarityABC): 

    def __init__(self, corpus, custom_similarity, num_best=None, chunksize=256): 
     self.corpus = corpus 
     self.custom_similarity = custom_similarity 
     self.num_best = num_best 
     self.chunksize = chunksize 
     self.normalize = False 

    def get_similarities(self, query): 
     """ 
     **Do not use this function directly; use the self[query] syntax instead.** 
     """ 
     if isinstance(query, numpy.ndarray): 
      # Convert document indexes to actual documents. 
      query = [self.corpus[i] for i in query] 
     if not isinstance(query[0], list): 
      query = [query] 
     n_queries = len(query) 
     result = [] 
     for qidx in range(n_queries): 
      qresult = [self.custom_similarity(document, query[qidx]) for document in self.corpus] 
      qresult = numpy.array(qresult) 
      result.append(qresult) 
     if len(result) == 1: 
      # Only one query. 
      result = result[0] 
     else: 
      result = numpy.array(result) 
     return result 

要实现自定义相似性：

def overlap_sim(doc1, doc2): 
    # similarity defined by the number of common words 
    return len(set(doc1) & set(doc2)) 
corpus = [['cat', 'dog'], ['cat', 'bird'], ['dog']] 
cs = CustomSimilarity(corpus, overlap_sim, num_best=2) 
print(cs[['bird', 'cat', 'frog']]) 

此输出[(1, 2.0), (0, 1.0)]。