优化拟合系数以便更好地拟合

Question

我使用minpack.lm软件包运行非线性最小二乘法。

但是，对于数据中的每个组，我想优化（最小化）拟合参数，如类似于Python的minimize函数。

minimize（）函数是Minimizer运行 优化问题时的一个包装。它需要一个目标函数（函数 ，用于计算要最小化的数组），一个Parameters对象和几个可选参数。

我需要这个的原因是，我想基于获得的拟合参数来优化拟合函数以找到适合数据中的两个组的全局拟合参数。

这是我目前在小组拟合方法，

df <- data.frame(y=c(replicate(2,c(rnorm(10,0.18,0.01), rnorm(10,0.17,0.01))), 
           c(replicate(2,c(rnorm(10,0.27,0.01), rnorm(10,0.26,0.01))))), 
         DVD=c(replicate(4,c(rnorm(10,60,2),rnorm(10,80,2)))), 
         gr = rep(seq(1,2),each=40),logic=rep(c(1,0),each=40)) 

这些群体的拟合方程是

fitt <- function(data) { 
    fit <- nlsLM(y~pi*label2*(DVD/2+U1)^2, 
       data=data,start=c(label2=1,U1=4),trace=T,control = nls.lm.control(maxiter=130)) 
} 

library(minpack.lm) 
library(plyr) # will help to fit in groups 

fit <- dlply(df, c('gr'), .fun = fitt) #,"Die" only grouped by Waferr 

> fit 
$`1` 
Nonlinear regression model 
    model: y ~ pi * label2 * (DVD/2 + U1)^2 
    data: data 
    label2  U1 
2.005e-05 1.630e+03 
$`2` 
label2  U1 
2.654 -35.104 

我需要知道是否有任何优化功能的总和，OF-正方形来为两个组获得最佳拟合。 我们可以说，你已经拥有了最好的拟合参数为剩余总和-的平方，但我知道，minimizer能做到这一点，但我还没有找到任何类似的例子，我们可以在R

做到这一点

ps。我做了数字和拟合线。

Answer 1

不确定r，但具有共享参数的最小二乘通常很容易实现。

一个简单的Python例子如下：

import matplotlib 
matplotlib.use('Qt4Agg') 
from matplotlib import pyplot as plt 

from random import random 
from scipy import optimize 
import numpy as np 

#just for my normal distributed errord 
def boxmuller(x0,sigma): 
    u1=random() 
    u2=random() 
    ll=np.sqrt(-2*np.log(u1)) 
    z0=ll*np.cos(2*np.pi*u2) 
    z1=ll*np.cos(2*np.pi*u2) 
    return sigma*z0+x0, sigma*z1+x0 

#some non-linear function 
def f0(x,a,b,c,s=0.05): 
    return a*np.sqrt(x**2+b**2)-np.log(c**2+x)+boxmuller(0,s)[0] 

# residual function for least squares takes two data sets. 
# not necessarily same length 
# two of three parameters are common 
def residuals(parameters,l1,l2,dataPoints): 
    a,b,c1,c2 = parameters 
    set1=dataPoints[:l1] 
    set2=dataPoints[-l2:] 
    distance1 = [(a*np.sqrt(x**2+b**2)-np.log(c1**2+x))-y for x,y in set1] 
    distance2 = [(a*np.sqrt(x**2+b**2)-np.log(c2**2+x))-y for x,y in set2] 
    res = distance1+distance2 
    return res 

xList0=np.linspace(0,8,50) 
#some xy data 
xList1=np.linspace(0,7,25) 
data1=np.array([f0(x,1.2,2.3,.33) for x in xList1]) 
#more xy data using different third parameter 
xList2=np.linspace(0.1,7.5,28) 
data2=np.array([f0(x,1.2,2.3,.77) for x in xList2]) 
alldata=np.array(zip(xList1,data1)+zip(xList2,data2)) 

# rough estimates 
estimate = [1, 1, 1, .1] 
#fitting; providing second length is actually redundant 
bestFitValues, ier= optimize.leastsq(residuals, estimate,args=(len(data1),len(data2),alldata)) 
print bestFitValues 


fig = plt.figure() 
ax = fig.add_subplot(111) 
ax.scatter(xList1, data1) 
ax.scatter(xList2, data2) 
ax.plot(xList0,[f0(x,bestFitValues[0],bestFitValues[1],bestFitValues[2] ,s=0) for x in xList0]) 
ax.plot(xList0,[f0(x,bestFitValues[0],bestFitValues[1],bestFitValues[3] ,s=0) for x in xList0]) 


plt.show() 

#output 
>> [ 1.19841984 2.31591587 0.34936418 0.7998094 ] 

如果需要的话，你甚至可以自己动手让你的最小化。如果你的参数空间有很好的表现，即近似抛物线最小值，那么简单的Nelder Mead method就可以。