机器学习：高斯混合模型深入解析（第13篇）

更新:11-20 民间故事我要投稿纠错投诉

大家好，今天来为大家分享机器学习：高斯混合模型深入解析（第13篇）的一些知识点，和的问题解析，大家要是都明白，那么可以忽略，如果不太清楚的话可以看看本篇文章，相信很大概率可以解决您的问题，接下来我们就一起来看看吧！

高斯混合模型以二维数据为例。下图中，可以看到有两个数据密集区域，对应的概率分布会有两个峰值。高斯混合模型可以看作是生成模型。数据生成过程可以认为是先选择一个高斯分布，然后根据选择的高斯分布生成数据：

高斯混合模型基于上面两个例子，我们可以从两个角度来描述高斯混合模型：

几何角度：加权平均可以认为是高斯混合模型，是由多个高斯分布加权平均组成的模型：

从混合模型（或生成模型）的角度来看，高斯混合模型可以被认为是包含潜在变量的生成模型：

:观察变量

: 隐藏变量

是隐藏变量，表示对应的样本属于哪个高斯分布。其概率分为下表：

33 3603可以认为这里的概率是几何角度加权平均中的权重，两个角度的解释其实意思是一样的。

我们可以绘制高斯混合模型的概率图：

概率图中的实心点代表模型的参数，右下角的代表样本数量。

二、尝试用极大似然估计来求解

:观测数据

:资料齐全

:参数

以上就是我们的数据以及需要求解的参数。接下来我们表示概率:

然后我们使用最大似然估计方法来解决这个参数估计问题。首先告诉大家一个结论：最大似然估计方法不能解决包含隐变量的参数估计问题，或者说不能得到解析解。接下来我们看看为什么不能用最大似然估计法来求解：

最大似然估计法无法得到解析解的原因是求和符号出现在函数内部。当然，我们可以使用梯度下降法来求解，但是对于包含隐变量的模型，EM算法更合适。

三、使用EM算法求解

由于使用EM算法需要使用联合概率和后验概率，所以我们首先写出这两个概率的表达式：

E步

对于上式的每一项展开式，我们可以简化：

类似地我们可以得到：

继续

rmula=Q(%5Ctheta%20%2C%5Ctheta%20%5E%7Bt%7D)" alt="Q(theta ,theta ^{t})" />进行化简可以得到：M stepEM算法的迭代公式为：下面以求解为例，来看如何进行迭代求解，以下是求解的迭代公式：于是可以转化为以下约束优化问题：然后使用拉格朗日乘子法进行求解：

文章分享结束，机器学习：高斯混合模型深入解析（第13篇）和的答案你都知道了吗？欢迎再次光临本站哦！