期望最大化算法（高斯混合模型）：ValueError：输入矩阵必须是正半定的

Question

我试图在数据集data = [[x，y]，...上实现期望最大化算法（高斯混合模型）... ]。我正在使用mv_norm.pdf(data, mean,cov)函数来计算群集责任。但COV的后6-7次迭代计算协方差（COV矩阵）的新值之后，COV矩阵是变奇异即行列式为0（非常小的值），并且因此它给错误

ValueError: the input matrix must be positive semidefinite

和

raise np.linalg.LinAlgError('singular matrix')

有人可以为此提出任何解决方案吗？

#E-step: Compute cluster responsibilities, given cluster parameters 
def calculate_cluster_responsibility(data,centroids,cov_m): 
    pdfmain=[[] for i in range(0,len(data))] 
    for i in range(0,len(data)): 
     sum1=0 
     pdfeach=[[] for m in range(0,len(centroids))] 
     pdfeach[0]=1/3.*mv_norm.pdf(data[i], mean=centroids[0],cov=[[cov_m[0][0][0],cov_m[0][0][1]],[cov_m[0][1][0],cov_m[0][1][1]]]) 
     pdfeach[1]=1/3.*mv_norm.pdf(data[i], mean=centroids[1],cov=[[cov_m[1][0][0],cov_m[1][0][1]],[cov_m[1][1][0],cov_m[0][1][1]]]) 
     pdfeach[2]=1/3.*mv_norm.pdf(data[i], mean=centroids[2],cov=[[cov_m[2][0][0],cov_m[2][0][1]],[cov_m[2][1][0],cov_m[2][1][1]]]) 
     sum1+=pdfeach[0]+pdfeach[1]+pdfeach[2] 
     pdfeach[:] = [x/sum1 for x in pdfeach] 
     pdfmain[i]=pdfeach 

    global old_pdfmain 
    if old_pdfmain==pdfmain: 
     return 
    old_pdfmain=copy.deepcopy(pdfmain) 
    softcounts=[sum(i) for i in zip(*pdfmain)] 
    calculate_cluster_weights(data,centroids,pdfmain,soft counts) 

最初，我通过[3,0]，[0,3]每个集群的协方差，因为集群的预计数为3

Answer 1

Can someone suggest any solution for this?

的问题是你的数据位于维数严格小于输入数据的某个流形。换句话说，例如，您的数据位于一个圆上，而您有三维数据。因此，当您的方法尝试估计适合您的数据的三维椭球（协方差矩阵）时，它会失败，因为最优的椭球是二维椭圆（第三维为0）。

如何解决？您将需要一些正则化您的协方差估计量。有很多种可能的解决方案，所有以M一步，没有式步骤，问题是计算协方差：

• 简单的解决方案，而不是做这样的事情cov = np.cov(X)添加一些正则项，像cov = np.cov(X) + eps * np.identity(X.shape[1])小eps
• 使用更好的估计器，如LedoitWolf estimator from scikit-learn。

Initially, I've passed [[3,0],[0,3]] for each cluster covariance since expected number of clusters is 3.

这是没有意义的，协方差矩阵值无关与集群的数量。你可以用任何或多或少的合理的东西来初始化它。