关键词：
一、先验条件
通俗来讲，最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。
重要的假设是所有采样满足独立同分布。
二、最大似然法
假如我们有一组连续变量的采样值（x1,x2,…,xn），我们知道这组数据服从正态分布（最大似然法特点，我们已知模型，求解的是模型的具体参数），标准差已知。请问这个正态分布的期望值为多少时，产生这个已有数据的概率最大？
P(Data | M) = ？
根据公式
可得:
对μ求导可得
,
则最大似然估计的结果为μ=(x1+x2+…+xn)/n
由上可知最大似然估计的一般求解过程：
（1） 写出似然函数；
（2） 对似然函数取对数，并整理（目的是化似然函数的连乘为连加，简化运算）；
（3） 求导数 ；
（4） 解似然方程
注意：最大似然估计只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率，这点与贝叶斯估计有所区别。
最大似然法和最小二乘法
最大似然法和Logistic回归
这是个二分类模型，意义是在该参数系统下y=1的概率，补集是y=0的概率。
最后希望最小化（绝对值最小化）的形式如上，和最小二乘法有点类似。
三、最大后验概率
最大后验估计是根据经验数据获得对难以观察的量的点估计。
与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。
首先，我们回顾上篇文章中的最大似然估计，假设x为独立同分布的采样，θ为模型参数,f为我们所使用的模型。那么最大似然估计可以表示为：
现在，假设θ的先验分布为g。通过贝叶斯理论，对于θ的后验分布如下式所示：
最后验分布的目标为：
注：最大后验估计可以看做贝叶斯估计的一种特定形式。
举例来说：
假设有五个袋子，各袋中都有无限量的饼干(樱桃口味或柠檬口味)，已知五个袋子中两种口味的比例分别是
樱桃 100%
樱桃 75% + 柠檬 25%
樱桃 50% + 柠檬 50%
樱桃 25% + 柠檬 75%
柠檬 100%
如果只有如上所述条件，那问从同一个袋子中连续拿到2个柠檬饼干，那么这个袋子最有可能是上述五个的哪一个？
我们首先采用最大似然估计来解这个问题，写出似然函数。假设从袋子中能拿出柠檬饼干的概率为p(我们通过这个概率p来确定是从哪个袋子中拿出来的)，则似然函数可以写作
由于p的取值是一个离散值，即上面描述中的0,25%，50%，75%，1。我们只需要评估一下这五个值哪个值使得似然函数最大即可，得到为袋子5。这里便是最大似然估计的结果。
上述最大似然估计有一个问题，就是没有考虑到模型本身的概率分布，下面我们扩展这个饼干的问题。
假设拿到袋子1或5的机率都是0.1，拿到2或4的机率都是0.2，拿到3的机率是0.4，那同样上述问题的答案呢？这个时候就变MAP了。我们根据公式
写出我们的MAP函数。
根据题意的描述可知，p的取值分别为0,25%，50%，75%，1，g的取值分别为0.1，0.2,0.4,0.2,0.1.分别计算出MAP函数的结果为：0,0.0125,0.125,0.28125,0.1.由上可知，通过MAP估计可得结果是从第四个袋子中取得的最高。
上述都是离散的变量，那么连续的变量呢？假设
为独立同分布的
，μ有一个先验的概率分布为
。那么我们想根据来找到μ的最大后验概率。根据前面的描述，写出MAP函数为：
此时我们在两边取对数可知。所求上式的最大值可以等同于求
的最小值。求导可得所求的μ为
以上便是对于连续变量的MAP求解的过程。
在MAP中我们应注意的是：
MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说，MLE中认为模型参数本身的概率的是均匀的，即该概率为一个固定值，而MAP给出了不同的划定。
参考：
机器学习算法原理专栏目录
理论基础数据科学_公众号：算法攻城狮-CSDN博客机器学习到底是什么，如何使用这项技术？_公众号：算法攻城狮-CSDN博客机器学习中的距离计算方法_公众号：算法攻城狮-CSDN博客机器学习理论基础|最大似然函... 查看详情
最大似然估计(极大似然估计)
...的最大似然估计其实就是假设硬币正面朝上的概率,然后计算实验结果的概率是多少,概率越大,那么这个假设的概率越可能是真的。假设我们投了10次硬币,其中有6次正面朝上,那么我们根据这个实验结果对其进行假设我们可以先假... 查看详情
b-概率论-极大似然估计
目录极大似然估计一、最大似然原理二、极大似然估计三、似然函数四、极大似然函数估计值五、求解极大似然函数5.1未知参数只有一个5.2位置参数有多个5.3总结更新、更全的《机器学习》的更新网站，更有python、go、数据结构... 查看详情
机器学习理论基础|最大似然函数
概率函数vs似然函数 : p(x|θ)(概率函数是θ，已知，求x的概率。似然函数是x已知，求θ)求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数，令导数为0，得到似然方程... 查看详情
基于最小二乘法和最大似然估计法的系统参数辨识matlab仿真(代码片段)
...、理论基础 系统辨识源于工业工程控制，随着计算机技术的发展，出现了许多辨识软件可以用于辅助辨识理论的研究。它不仅在工业领域中有着广泛的应用，而且有经济、社会和环境也有重要的应用价值。1... 查看详情
机器学习：极大似然估计
...使得(smallP(X| heta))为最大值的(small heta)??实际中为了方便计算，经常改成对数形式????(largeln(prod_i=1^nP(x_i| heta))=sum_i=1^n(ln(P(x_i| heta))))??以上面例子中的正态分布为例，一维正态分布函数为????(largef(x)=frac1sqrt2pisigmaexp(-frac(x 查看详情
理论篇-数理统计填坑篇
...连续变量。四、拟合优度检验用来判断假设或模型得到的理论数与实际观测数是否吻合，包括卡方检验、K-S检验等。链接:卡方检验和K-S检验异同 查看详情
最大似然估计
...，我们先来解决这样一个问题：有一枚不规则的硬币，要计算出它正面朝上的概率。为此，我们做了10次实验，得到这样的结果：[1,0,1,0,0,0,0,0,0,1]（1代表正面朝上，0代表反面朝上）。现在，要根据实验得到的结果来估计正面朝... 查看详情
机器学习中的参数估计方法
...公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即 最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做 由于有连乘运算，通常对似然函数取对数... 查看详情
最大似然估计法的原理
...个分布中抽出一个具有n个值的采样,通过利用fD,我们就能计算出其概率：但是,我们可能不知道θ的值,尽管我们知道这些采样数据来自于分布D.那么我们如何才能估计出θ一个自然的想法是从这个分布中抽出一个具有n个值的采样X1,X... 查看详情
先验概率最大似然估计贝叶斯估计最大后验概率
...先验概率的分类 利用过去历史资料计算得到的先验概率，称为客观先验概率； 查看详情
最大似然估计-高斯分布
...列出）0123456789101112X12344.24.44.64.85678y000011110000假设x=4.9用科学的办法估计y的分类。预备知识高斯分布的概率密度函数 高斯分布的概率密度函数理解通常用「概率密度函数」代替概率，仅仅去比较大小。还有其他的分布，我也... 查看详情
最大似然估计（最大可能性估计）（likelihood）
原理：参考文章：最大似然估计 查看详情
最大似然函数
...本集X中各个样本的联合概率最大似然估计为：为了方便计算，对联合概率取对数求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（ 查看详情
最大似然估计单调增怎么办
...试验条件X使众多试验结果的A结果发生的概率很大，我们计算这个试验条件的相关参数。你还可以更广泛地理解，在X发生的前提下，A发生的概率很大，我们知道A发生的概率，需要求出X发生的相关参数极大似然估计是建立在这样... 查看详情
最大似然估计伪代码
】最大似然估计伪代码【英文标题】：MaximumLikelihoodEstimatepseudocode【发布时间】：2011-12-0419:19:41【问题描述】：我需要编写一个最大似然估计器来估计一些玩具数据的均值和方差。我有一个包含100个样本的向量，使用numpy.random.ran... 查看详情
最大似然
参考 从最大似然到EM算法浅解 最大似然估计学习总结 EM算法及其推广学习笔记 之前已经总结了似然的概念，那么顺其自然的理解就是，求得似然最大值的参数即为想要的参数，也就是... 查看详情
损失函数
...样本服从某种分布的概率，找到最大可能的一种概率模型计算神经网络概率模型的似然值，找到极大似然值，这个就应该是最接近真实情况的概率模型其实就是给定一种模型，在神经网络中这个模型由其权重参数W和偏置b决定，... 查看详情