计算概率分布

Question

我有一个简单的（可能是愚蠢的）问题。我想计算两个文件中的Kullback-Leibler散度。它要求每个文件的概率分布。

我不知道如何计算每个文档的概率。任何简单的答案与外行的例子将不胜感激。

比方说，我们必须遵循两个文件：

1 - cross validated answers are good 
2 - simply validated answers are nice 

（文件的措辞只是喇嘛喇嘛给你一个例子）

如何计算这些文件的概率？

比方说，我们再增加一个文件：

3 - simply cross is not good answer 

如果再加上另外一个文件然后它将如何影响概率分布？

感谢

Answer 1

如果您添加文档的文档的集合，除非该文件是完全一样的文档集合，在您的发行词或词的分布将改变以适应新添加话。问题就出现了：“这真的是你想要做的第三份文件吗？”

Kullback-Leibler divergence是两个分布的发散度量。你们两个分布是什么？

如果您的分布是在文档中随机选择某个词的概率，那么您有概率值的空间就是组成文档的词的集合。对于您的前两个文档（我认为这是您的整个集合），您可以构建7个词的词空间。用于字概率在从文件随机被选择为单词的袋是：

  doc 1  doc 2   doc 3 (lem) 
answers  0.2  0.2    0.0  0.2 
are   0.2  0.2    0.0  0.2 
cross  0.2  0.0    .33  0.2 
good   0.2  0.0    .33  0.2 
nice   0.0  0.2    0.0  0.0 
simply  0.0  0.2    .33  0.2 
validated 0.2  0.2    0.0  0.0 

[这被计算为术语频率由原稿长度分割。请注意，新文档的单词形式与文档1和文档2中的单词不同。（lem）列将是概率，如果您阻止或词汇化为相同的词对（是/是）和（答案/答案）。]

将第三份文件引入场景中，您可能想要对Kullback-Liebler Divergence进行的一项典型活动是比较新文件或文件集合与已知文件或文件集合。

计算所述的Kullback-Liebler发散D(P||Q)产生值标志着如何真实分布P通过使用替代分布Q捕获。因此，Q1可能是文档1中词的分布，Q2可能是文档2中词的分布。计算KL分歧P是新文档（文档3）中文字的分布，您可以得到新文档与文档1不同，新文档与文档2有多不同。使用这些信息，您可以说新文档与已知文档/集合有多相似。