如何降低语料库中文本词矩阵的稀疏性（R）

Question

我有一个语料库，其中有15,000多个文本文档。该removeSparseTerms功能不起作用：

dtm 

<<DocumentTermMatrix (documents: 15095, terms: 12811)>> 
Non-/sparse entries: 140286/193241759 
Sparsity   : 100% 
Maximal term length: 37 
Weighting   : term frequency (tf) 

dtms <- removeSparseTerms(dtm, 0.1) 
dtms 

<<DocumentTermMatrix (documents: 15095, terms: 0)>> 
Non-/sparse entries: 0/0 
Sparsity   : 100% 
Maximal term length: 0 
Weighting   : term frequency (tf) 

我也试过这样，它没有工作：

colTotals<- col_sums(dtm) 
dtm2 <- dtm[,which(colTotals>20)] 
dtm2 

<<DocumentTermMatrix (documents: 15095, terms: 1387)>> 
Non-/sparse entries: 100867/20835898 
Sparsity   : 100% 
Maximal term length: 26 
Weighting   : term frequency (tf) 

还有什么我能做的减少稀疏？我希望能够在excel中打开频率表，现在它需要太多的内存，所以我无法打开（这就是为什么我想减少稀疏性）。

Answer 1

我有一个类似的问题，在我的情况下，增加稀疏度帮助（因为我的文档中术语的频率很低）。取而代之的dtms <- removeSparseTerms(dtm, 0.1)试试这个：dtms <- removeSparseTerms(dtm, 0.99)

请参阅https://stats.stackexchange.com/questions/160539/is-this-interpretation-of-sparsity-accurate为稀疏的明确定义（“稀疏性是指相对于文档频率的任期，高于该术语将被删除的门槛。”）