调整vlfeat SVM

Question

我有1个昏暗的数据，例如6个样品，我想训练就可以了vlfeat的SVM：

data: 
    [188.00000000; 
     168.00000000; 
     191.00000000; 
     150.00000000; 
     154.00000000; 
     124.00000000] 

第3个样品是积极的，最后3个样本均为负面。

，我得到的权重（包括偏置）：

w: -0.6220197226 -0.0002974511 

的问题是，所有的样品得到预测为负，但他们显然是线性可分。

为了学习，我使用求解器类型VlSvmSolverSgd和lambda 0.01。

我正在使用C API，如果它很重要。

最低工作例如：

void vlfeat_svm_test() 
{ 
    vl_size const numData = 6 ; 
    vl_size const dimension = 1 ; 
    //double x[dimension * numData] = {188.0,168.0,191.0,150.0, 154.0, 124.0}; 
    double x[dimension * numData] = {188.0/255,168.0/255,191.0/255,150.0/255, 154.0/255, 124.0/255}; 
    double y[numData] = {1, 1, 1, -1, -1, -1} ; 

    double lambda = 0.01; 

    VlSvm *svm = vl_svm_new(VlSvmSolverSgd, x, dimension, numData, y, lambda); 
    vl_svm_train(svm); 

    double const * w= vl_svm_get_model(svm); 
    double bias= vl_svm_get_bias(svm); 
    for(int k=0;k<numData;++k) 
    { 
     double res= 0.0; 
     for(int i=0;i<dimension;++i) 
     { 
      res+= x[k*dimension+i]*w[i]; 
     } 
     int pred= ((res+bias)>0)?1:-1; 

     cout<< pred <<endl; 
    } 

    cout << "w: "; 
    for(int i=0;i<dimension;++i) 
     cout<< w[i] <<" "; 
    cout<< bias <<endl; 

    vl_svm_delete(svm); 
} 

更新：

另外我试图通过255除以它没有任何效果是按比例的输入数据。

更新2：

极低的拉姆达= 0.000001似乎解决问题。

Answer 1

发生这种情况的原因是VLFeat中的SVM求解器不直接估计模型和偏差，而是使用向数据中添加常数分量的方法（如http://www.vlfeat.org/api/svm-fundamentals.html中所述）并返回相应的模型权重作为偏差。

因此，偏倚项是正规化的一部分，具有较高偏倚的模型在能量方面“受到惩罚”。由于您的数据维度非常低，因此这种效果尤其强大:) 因此，您需要选择正则化参数LAMBDA的较小值来降低正规化器的重要性。