如何仅从存储的单词列表中生成text2vector中的文档术语矩阵

Question

text2vec中的语法是如何将文本向量化并仅通过指定的单词列表实现dtm？

如何仅在指示的要素上进行矢量化并生成文档项矩阵？如果功能没有出现在文本中，变量应该保持空白。

我需要生成与dtm中运行建模的字段完全相同的文档矩阵，否则我无法在新文档上使用随机森林模型。 - 它不会工作好2）执行

v = create_vocabulary(c("word1", "word2")) 
vectorizer = vocab_vectorizer(v) 
dtm_test = create_dtm(it, vectorizer) 

不过我不建议：1）使用这种数据稀疏随机森林：

Answer 1

只能从特定的功能集创建的文档词矩阵特征选择方式你描述 - 你可能会过度使用。

Answer 2

我需要生成与dtm中的列完全相同的文档矩阵，我运行建模，否则我无法在新文档上使用随机森林模型。

在quanteda你可以设置一个测试组相同的方法，使用dfm_select()训练集的特征。例如，为了使下面dfm1具有相同的功能，以dfm2：

txts <- c("a b c d", "a a b b", "b c c d e f") 

(dfm1 <- dfm(txts[1:2])) 
## Document-feature matrix of: 2 documents, 4 features (25% sparse). 
## 2 x 4 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d 
## text1 1 1 1 1 
## text2 2 2 0 0 
(dfm2 <- dfm(txts[2:3])) 
## Document-feature matrix of: 2 documents, 6 features (41.7% sparse). 
## 2 x 6 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d e f 
## text1 2 2 0 0 0 0 
## text2 0 1 2 1 1 1 

dfm_select(dfm1, dfm2, valuetype = "fixed", verbose = TRUE) 
## kept 4 features, padded 2 features 
## Document-feature matrix of: 2 documents, 6 features (50% sparse). 
## 2 x 6 sparse Matrix of class "dfmSparse" 
##  features 
## docs a b c d e f 
## text1 1 1 1 1 0 0 
## text2 2 2 0 0 0 0 

对于功能方面矩阵（什么text2vec需求的输入），然而，这是行不通的，因为共同出现（至少是那些使用窗口而不是文档上下文进行计算）在各个功能之间是相互依赖的，因此您不能以相同的方式简单地添加和删除它们。