SVM参数，它如何影响其性能

Question

我想知道SVM性能对其参数有多敏感。反向传播是否敏感？ SVM是一个稳定的分类器吗？你能把我的一些文件转给我吗？

谢谢！

Answer 1

有在支持向量机的几个概念是重要的是了解得到它怎么会变脆是把握：

基于保证金 只有几个点用来分隔您的类：支持向量。这意味着您使用“边界案例”来分隔您的数据。做这件事的原因很简单。它对应于将所有没有支持向量的点的权重设置为零。这是稀缺的考虑因素。很多零意味着你必须少做乘法运算。如果数据是线性可分的，那么只有线条可以用最大边距绘制，所以不会有任何参数参与。因此对参数也不敏感。在一些高维空间中的可分离性的非平凡情况下，情况并非如此。内核，例如高斯核函数带有方差的通常σ参数。内核越复杂，分离可能越尴尬（请参见this blog post）。

不可分的类 对于不可分的类，必须发明一些东西来再次获得正确的问题。对于几何直觉而言，纸Duality and Geometry in SVM classifiers很有趣。它将问题形象化为数据点周围的简化凸包，这样两个类之间又有一个可分离的平面。这是扩大保证金（通过软化）以允许合并“不适当”的两个方面。如何处理“不适合”导致（可调）参数。很容易看到例如距离其他班级很远的一个数据点。如果数据如此，它可能会导致您考虑健壮性关于如何合并松弛变量或函数。这通常被封装在“错误分类处罚”C中。如果您真的想知道支持向量机的基础是什么样的假设，那么搜索贝叶斯解释通常是有益的。但要小心，它们可能会将铰链损失更改为最小二乘方，并实际描述与普通SVM完全不同的内容。我推荐的文章是Sollich的Bayesian Methods for Support Vector Machines: Evidence and Predictive Class Probabilities。