插值的权重

Question

我正在学习This site的自然语言处理。

我被卡在插值视频中。

教授说：P'（W _Ñ | W _n-1个，W _N-2）= λ * P（W _Ñ | W _n-1个 ，W _N-2）+ λ * P（W _ñ | W _N-1）+ λ * P（W _ñ）

然后他告诉说：要设置lambdas，你需要一个'伸出'数据集并找到使该数据集的概率最大化的lambda。

这是否意味着你循环所有可能的数字（这是无穷大），然后找到它们中的哪一个最大化概率？

那么这是不可能的权利？那么你如何选择lambda表达式。找到提高概率的lambda是很容易的，同样发现概率很容易，但选择lambda是一件大事。

请帮我选择lambdas！

Thankyou提前！

Answer 1

根据词的重要性顺序设置你的权重，但要确保权重加起来为1，因为概率不能超过1

Answer 2

这是一个最好的半受教育的猜测，但它看起来像他在做的是使用该函数的先前估计值迭代地改进他对P（Wn | Wn-1，Wn-2）的函数，作为P（Wn | Wn-1）和P（Wn）的估计值。他假定新函数是旧函数的加权和，那些λ值是权重。这些权重必须等于一。

你的工作是找到最好的一组权重。

你解决了这样的问题，而不是通过循环λ值（因为你正确intuit），但与数学。在不了解这些功能的结构的情况下，很难说更多有用的东西。

如果你很幸运，你可以找到一个相对简单的微积分表达式来做到这一点。如果你不走运，这将是一个相对复杂的过程，可能涉及拉格朗日乘数的方法。它甚至可能没有明显的封闭式表达，导致各种爬山，期望最大化或其他技术。我真的不能说。