4
现在我正在使用CountVectorizer来提取功能。但是，我需要计算在拟合期间看不到的词汇。CountVectorizer和词外（OOV）令牌？
在转换过程中，CountVectorizer的默认行为是忽略在拟合过程中未观察到的单词。但我需要保持这种情况发生的次数！
我该怎么做？
谢谢！
A
回答
1
scikit-learn没有内置的方法来做到这一点，你需要编写一些额外的代码才能做到这一点。但是，您可以使用CountVectorizer的vocabulary_属性来实现此目的。
- 缓存当前的词汇表
- 呼叫fit_transform
- 计算与新词汇的diff和缓存的词汇
相关问题
- 1. 初始化词汇表（OOV）令牌
- 2. 通行证令牌CountVectorizer
- 3. CountVectorizer读写词汇
- 4. Symfony2和RememberMe令牌例外
- 5. 空的词汇通过CountVectorizer
- 6. 意外令牌“+”
- 7. 意外令牌'
- 8. 意外令牌“（”
- 9. ANTLR：词法不认令牌
- 10. 意外令牌“>”
- 11. 意外令牌} Javascript
- 12. 意外的令牌“}”“）”
- 13. 意外令牌“;;” ocaml
- 14. 意外令牌ü
- 15. 意外的令牌}
- 16. 意外的令牌'}'
- 17. 意外的令牌;
- 18. 意外令牌：LIMIT
- 19. 意外的令牌'）'
- 20. 意外令牌“LIMIT”
- 21. 意外的令牌{
- 22. Jest和Webpack - 意外令牌导入
- 23. ajax方法和SyntaxError：意外的令牌“：”
- 24. Countvectorizer有词不在数据中
- 25. CountVectorizer：没有安装词汇表
- 26. 向CountVectorizer添加词干支持（sklearn）
- 27. Json + javascript意外的令牌：
- 28. Twitter stream.on意外令牌E
- 29. MarkerClusterer脚本：意外令牌
- 30. AjaxFileManager意外令牌<