关键词：
高斯混合模型
本博客根据 百面机器学习，算法工程师带你去面试 一书总结归纳，公式图片均出自该书.
本博客仅为个人总结学习，非商业用途，侵删.
网址 http://www.ptpress.com.cn
高斯混合模型（Gaussian Mixed Model， GMM） 是一种常见的聚类算法，与K均值算法类似，同样使用了EM算法进行迭代计算。 高斯混合模型假设每个簇的数据都是符合高斯分布（又叫正态分布） 的， 当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。
下面是一个高斯混合分布得例子，如果只用一个高斯分布来拟合图中的数据，则如下图：
由于图中的数据明显分为两簇，因此只用一个高斯分布来拟合是不合理的，需要推广到多个，如下图就是用两个高斯分布来拟合：
这就引出了高斯混合模型， 即用多个高斯分布函数的线形组合来对数据分布进行拟合。 理论上， 高斯混合模型可以拟合出任意类型的分布。
高斯混合模型的核心思想是， 假设数据事实上有多个类，可以看作其是从多个高斯分布中生成出来的。 在该假设下，每个单独的分模型都是标准高斯模型，其均值(μ_i)和方差(Σ_i)是待估计的参数。 此外，每个分模型都还有一个参数(π_i)，可以理解为权重或生成数据的概率。
所以高斯混合模型的公式是：
其中，K是分布的个数。即表示为K个分布得加权和。
通常我们并不能直接得到高斯混合模型的参数， 而是观察到了一系列数据点， 给出一个类别的数量K后， 希望求得最佳的K个高斯分模型。 因此，高斯混合模型的计算，便成了最佳的均值μ，方差Σ、权重π的寻找。
此时可以使用EM算法框架来求解该最优化的问题。EM算法在最大化目标函数时， 先固定一个变量使整体函数变为凸优化函数， 求导得到最值， 然后利用最优参数更新被固定的变量， 进入下一个循环。
在高斯混合模型中，EM算法的迭代过程如下：
1） E步骤。 根据当前的参数， 计算每个点由某个分模型生成的概率
2） M步骤。 使用E步骤估计出的概率， 来改进每个分模型的均值， 方差和权重。
我们并不知道最佳的K个高斯分布的各自3个参数，也不知道每个数据点究竟是哪个高斯分布生成的。 所以每次循环时，先固定当前的高斯分布不变，获得每个数据点由各个高斯分布生成的概率。然后固定该生成概率不变，根据数据点和生成概率，获得一个组更佳的高斯分布。循环往复，直到参数的不再变化，或者变化非常小时，便得到了比较合理的一组高斯分布。
高斯混合模型与K均值算法相似，高斯混合模型也可以用于聚类算法，也需要指定K值；要使用EM算法来求解，并且往往都只能收敛到局部最优。
它的优点是，可以给出一个样本属于某个类的概率是多少；不仅可以用于聚类，还可以用于概率密度估计，并且可以用于生产新的样本。
有监督学习和无监督学习的区别
机器学习任务根据训练样本是否有label，可以分为监督学习和无监督学习监督学习的训练样本有label，主要是学习得到一个特征空间到label的映射，如分类、回归等无监督学习的训练样本没有label，主要是发现样本的内部结构，如... 查看详情
机器学习的监督学习和无监督学习的区别？
1、机器学习按照方法来分类，可以分成四类，分别是：监督学习、无监督学习、半监督学习和强化学习。2、监督学习针对有标签数据集，它通过学习出一个模型（其实就是一个函数）来拟合数据，按照模型（函数）的输出结果... 查看详情
高斯混合模型gmm
...#xff0c;理论上可以拟合出任意类型的分布，通常用于无监督聚类问题设随机变量XXX，高斯混合模型如下所示p(x)=∑k=1KπkN(x∣μk,Σk)p(x)=\\sum_k=1^K\\pi_kN(x|\\mu_k,\\Sigma 查看详情
高斯混合模型与em算法
...模型是干什么的呢？它解决什么样的问题呢？它常用在非监督学习中，意思就是我们的训练样本集合只有数据，没有标签。它用来解决这样的问题：我们有一堆的训练样本，这些样本可以一共分为K类，用z(i)表示。，但是具体样... 查看详情
如何使用高斯混合模型按波长分割图像？
...池塘的图像（草、边缘的岩石、水）。我想使用GMM作为无监督分类器，将图像分割成草、岩石和水。图像是形状为(800,800,4)的numpy数组形式，其中每个像素包含4个波长的强度数据。例如，像素x 查看详情
聚类
聚类:聚类是一个无监督学习问题，我们基于相似的特性将数据分组成多个子集。聚类通常用于探索性分析或者作为分层监督学习管道（每个簇训练不同的分类或者回归模型）的组件。 MLlib支持下面的几个模型： K均值(K-me... 查看详情
机器学习笔记之生成模型综述监督学习与无监督学习(代码片段)
机器学习笔记之生成模型综述——监督学习与无监督学习引言回顾：生成模型介绍判别方式：生成模型VS\\textVSVS判别模型生成模型的建模手段监督学习与无监督学习监督学习模型基于监督学习的非概率模型基于监督学习... 查看详情
gmm高斯混合模型学习
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvaHpxMjAwODExMjExMDc=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center">（图片from http://www.cnblogs.com/zhangchaoyang/articles/26 查看详情
机器学习3_em算法与混合高斯模型
①EM算法：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html李航《统计学习方法》9.1节②混合高斯模型（GMM）：http://blog.pluskid.org/?p=39 （前面片段+后面matlab代码+conv的解释）http://blog.pluskid.org/?p=81 （GMM模型精解 查看详情
深度学习
...实中要想获得大量标签是很困难的，因此我们将关注于无监督学习。无监督学习很自然的就会用到生成模型，这里主要介绍三种深度生成模型：1.有向的，2.无向的，3.混合的 （1）深度有向模型（DDNs） 下图是一个典... 查看详情
有监督学习和无监督学习
机器学习的常用方法，主要分为有监督学习(supervisedlearning)和无监督学习(unsupervisedlearning)。 监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属... 查看详情
监督学习和无监督学习
机器学习的常用方法：主要分为有监督学习(supervisedlearning)和无监督学习(unsupervisedlearning)。监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函... 查看详情
机器学习基础概念之监督学习与无监督学习
...习算法：决策树、线性回归、K-means聚类。 监督与无监督学习周志华通过敲西瓜案例有以下讲解：监督学习是在敲西瓜听声音判断好坏过程中有懂行的人告诉你这个瓜的好坏，给不同的声音贴上了好坏瓜的标签，慢... 查看详情
机器学习基础知识点
机器学习基础知识点文章目录机器学习基础知识点监督学习回归线性回归岭回归lasso回归分类k最近邻分类朴素贝叶斯分类logistic回归支持向量机其他随机梯度下降线性判别分析决策树无监督学习聚类k均值分层次聚类谱聚类高斯混... 查看详情
监督学习与无监督学习
... 机器学习的常用方法，主要分为有监督学习(supervisedlearning)和无监督学习(unsupervisedlearning)。监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型... 查看详情
机器学习有监督无监督自监督半监督弱监督的区别
有监督：用有标签的数据训练；无监督：用无标签的数据训练；K-means等半监督：利用数据分布上的模型假设建立学习器对未标签样例进行标签。通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这... 查看详情
05_无监督学习--聚类模型--k均值(代码片段)
无监督学习--聚类模型--K均值0.引入依赖1.数据的加载和预处理2.算法实现3.测试无监督学习--聚类模型--K均值0.引入依赖import numpy as npimport matplotlib.pyplot as plt# 这里直接 sklearn 里的数据集from skl... 查看详情
05em算法-高斯混合模型-gmm
...样本特征属性的分布，和预测值Y无关。显然GMM算法是无监督的算法，常用于聚类应用中，component的个数就可以认为是类别的数量。回到昨天说的例子：随机选择1000名用户，测量用户的身高；若样本中存在男性和女性，身高分别... 查看详情