Python tf-idf：快速更新tf-idf矩阵的方法

Question

我有一个包含数千行文本的数据集，我的目标是计算tfidf得分，然后计算文档之间的余弦相似度，这就是我使用gensim在Python跟着教程：

dictionary = corpora.Dictionary(dat) 
corpus = [dictionary.doc2bow(text) for text in dat] 

tfidf = models.TfidfModel(corpus) 
corpus_tfidf = tfidf[corpus] 
index = similarities.MatrixSimilarity(corpus_tfidf) 

比方说，我们有TFIDF矩阵和相似建，当我们有一个新的文档进来，我想查询在我们现有的数据集最类似的文件。

问题：有什么方法可以更新tf-idf矩阵，以便我不必将新文本文件追加到原始数据集并重新计算整个事物？

Answer 1

我会发布我的解决方案，因为没有其他答案。比方说，我们在以下情形：

import gensim 
from gensim import models 
from gensim import corpora 
from gensim import similarities 
from nltk.tokenize import word_tokenize 
import pandas as pd 

# routines: 
text = "I work on natural language processing and I want to figure out how does gensim work" 
text2 = "I love computer science and I code in Python" 
dat = pd.Series([text,text2]) 
dat = dat.apply(lambda x: str(x).lower()) 
dat = dat.apply(lambda x: word_tokenize(x)) 


dictionary = corpora.Dictionary(dat) 
corpus = [dictionary.doc2bow(doc) for doc in dat] 
tfidf = models.TfidfModel(corpus) 
corpus_tfidf = tfidf[corpus] 


#Query: 
query_text = "I love icecream and gensim" 
query_text = query_text.lower() 
query_text = word_tokenize(query_text) 
vec_bow = dictionary.doc2bow(query_text) 
vec_tfidf = tfidf[vec_bow] 

如果我们看一下：

print(vec_bow) 
[(0, 1), (7, 1), (12, 1), (15, 1)] 

和：

print(tfidf[vec_bow]) 
[(12, 0.7071067811865475), (15, 0.7071067811865475)] 

FYI ID和DOC：

print(dictionary.items()) 

[(0, u'and'), 
(1, u'on'), 
(8, u'processing'), 
(3, u'natural'), 
(4, u'figure'), 
(5, u'language'), 
(9, u'how'), 
(7, u'i'), 
(14, u'code'), 
(19, u'in'), 
(2, u'work'), 
(16, u'python'), 
(6, u'to'), 
(10, u'does'), 
(11, u'want'), 
(17, u'science'), 
(15, u'love'), 
(18, u'computer'), 
(12, u'gensim'), 
(13, u'out')] 

外貌就像查询只是拿起现有的条款和使用预先计算的权重为您提供tfidf分数。所以我的解决方法是每周或每天重建模型，因为这样做很快。