fmin_bfgs Logistic回归和Scipy优化

Question

我想实现Logistic回归，我使用Scipy的Optimize模块来找到优化的theta值。使用fmin函数时，我能够得到正确的值。但是我想在使用需要渐变的fmin_bfgs函数时这样做。

下面的代码片段：

#Returns Cost of current theta values and gradient of cost w.r.t theta. 
def costFunction(theta, X, y, _lambda): 

    #Initializes useful variables 
    m = len(y) 
    grad = np.zeros((np.shape(theta))) 

    #Solves for Hypothesis for input X. 
    h_x = Sigmoid(np.dot(X,theta)) 

    #Reshaped because numpy kept returning row vector, not column. 
    h_x = h_x.reshape((m,1)) 

    #Cost is broken up into terms for simplicity. 
    term1 = -y*np.log(h_x) 
    term2 = (1-y)*np.log((1-h_x)) 



    #Regularized Cost FUnction 
    J = (1/m) * sum(term1-term2) + (_lambda/(2*m)) * sum(np.square(theta[1:][:])) 

    #Gradient for Theta1 
    grad_reg = (_lambda/m)*theta[1:] 

    #Combines gradient for Theta1 and onward. 
    grad = (1/m)* (np.dot(np.transpose(X),(h_x-y))) + np.vstack(([0],grad_reg)) 

    return J,grad 





#Finds Optimal Value for theta 
cost, grad = costFunction(initial_theta, X,y, _lambda) 
opt_theta = fmin_bfgs(cost,x0=initial_theta,fprime=grad, args = (X,y,_lambda)) 

我得到的错误是'numpy.ndarray' object is not callable这是从优化模块中的function_wrapper功能。我甚至尝试在两个不同的函数中返回渐变和成本，但得到了vstack某种错误（如果这很重要/有帮助）。

就我所见，我已经提供了优化功能所要求的。

编辑/更新：我意识到我得到的错误是因为当期望函数返回这些参数时，我将成本和grad numpy数组作为参数传递。我意识到我可以创建一个包装函数？为了在不使用两个单独函数的情况下获得这两个值，但为了临时目的，我更改了costFunction，因此它只返回成本，并创建了一个全新的函数Grad()（尽管代码相同），只返回grad。这再次给了我all the input array dimensions except for the concatenation axis must match exactly vstack错误。

Answer 1

如果没有最小可重现的例子，很难调试。

我会调试它的方式，我会从一些简单的事情开始，以确保我获得基本的语法。有几种使用bfgs最小化和明确渐变的方法。首先，没有梯度信息：现在

In [1]: import numpy as np 

In [2]: from scipy.optimize import minimize 

In [3]: def f(x): 
    ...:  return np.sum((x-2.)**2) 
    ...: 

In [4]: x0 = np.ones(3) 

In [5]: minimize(f, x0, method='bfgs') 
Out[5]: 
    status: 0 
success: True 
    njev: 4 
    nfev: 20 
    fun: 1.6656677750444977e-16 
     x: array([ 1.99999999, 1.99999999, 1.99999999]) 
<snip> 

，用渐变，你可以有一个可调用的返回功能和梯度：

In [6]: def f_and_jac(x): 
    ...:  val = np.sum((x-2.)**2) 
    ...:  grad = 2.*(x-2.) 
    ...:  return val, grad 
    ...: 

In [7]: minimize(f_and_jac, x0, method='bfgs', jac=True) # notice the 'jac' parameter 
Out[7]: 
    status: 0 
success: True 
    njev: 4 
    nfev: 4 
    fun: 0.0 
     x: array([ 2., 2., 2.]) 

或者，您也可以设置jac到一个可调用，它应该与成本函数具有相同的签名并返回梯度：

In [8]: def jac(x): 
    ...:  return 2.*(x-2.) 
    ...: 

In [9]: minimize(f, x0, method='bfgs', jac=jac) 
Out[9]: 
    status: 0 
success: True 
    njev: 4 
    nfev: 4 
    fun: 0.0 
     x: array([ 2., 2., 2.])