如何平滑unigrams

Question

我有一个unigram语言模型，我想平滑计数。是添加一个平滑的唯一方法或我可以使用其他平滑也。我不认为我们可以使用knesser，因为这是N> N = 2的Ngrams。任何其他平滑方法你知道吗？

威登钟怎么样？

Answer 1

对于unigram平滑，Good-Turing将是最优的...并且它很容易（适用）！

http://en.wikipedia.org/wiki/Good%E2%80%93Turing_frequency_estimation

对于更高的订单，修改插值Kneser-奈伊是一个不错的选择。