是逻辑回归大分类器？

Question

据我了解在SVM大幅影响：

例如，让我们来看看这个图片：

在SVM优化目标的调整项，我们试图找到一组参数，其中， （参数向量）theta的范数很小。所以我们必须找到矢量theta，它是小的，并且在这个矢量上的正实例（p）的投影很大（以补偿内积的小Theta向量）。在同一时间大p给我们大幅度。在此图像中，我们发现理想的theta和大p与它（和大幅度）：

我的问题：

为什么回归并不大间隔分类？在LR中，我们以相同的方式最小化正则化项中的Theta向量。 也许我不明白的东西，如果是的话 - 纠正我。

我已经使用Coursera ml类的图像和理论。

Answer 1

Logistic回归是一个巨大的损失。乐村在他的一篇或多篇关于基于能量学习的论文中提到了这一点。

要看到LR确实会产生一个余量，看看softmax损失（相当于LR）会更容易一些。

有两个方面的损失添加Softmax：L(z)=z_{true} - log(\sum_i \exp(z_i))

这意味着从它的真正的决策边界的例子的距离需要从所有的决策边界的跳动的距离的日志总和。

因为softmax函数是一个概率分布，所以log softmax可以是最大值，所以log softmax返回一个接近0的负值（即罚分），作为softmax函数下真实类的概率接近1.