在正规化，为什么我们θ^ 2使用，而不是θ？

-4

正则是拉姆达*总和（θ^ 2）

2016-08-20 C.J

@Ami你怎么知道他的意思| theta |？是的，使用| theta |是有意义的而不是“theta”，但声称别人的问题是在黑暗中拍摄。 – lejlot

@lejlot回想起来，你是对的。（尽管如此，它仍然是一个错误的堆栈交换问题）。 –

_{我已经already answered这在以前的问题（见最后段落），但我会再试一次。}

与sum(θ)正规化的问题是，可能必须互相抵消的

实施例θ参数：

θ_1 = +1000000 
θ_2 = -1000001

的sum(θ)这里是百万-1000001 = -1是小

sum(θ²)是1000000²+（-1000001）²这是非常大的。

如果您使用sum(θ)，您可能会因没有正规化（这是目标）而导致避免正则化的θ值过大，因为这些项互相抵消。

根据您的搜索/优化算法，您可以使用sum(|θ|)。但我知道θ²（L2标准）很受欢迎，并且在梯度下降方面效果很好。

2016-08-20 13:25:41 bakkal

另一个原因是它通过惩罚较大的系数来提供额外的正则化。如果θ很大，那么θ^ 2将会很大，因此θ的较大值将受到惩罚。所以，这种正则化偏好比sum（|θ|）'更小的theta值 –

回答