正文 

当前位置： 首页 > 开发 > java教程

人工智能数学基础--概率与统计9：概率运算加法公理事件的独立性概率乘法定理条件概率全概率公式以及贝叶斯公式

LaoYuanPython LaoYuanPython     2022-10-27     652

关键词：

一、概述

这大半年都很忙，学习时间太少，导致概率论的学习停滞不前，期间AI大佬herosunly推荐了陈希孺老先生的概率论教材，与最开始学习的美版M.R.斯皮格尔等著作的《概率与统计》表示差异比较大（具体请见《人工智能数学基础–概率与统计7：学习中一些术语的称呼或表示变化说明以及独立事件的一些补充推论》的说明），但学习起来更容易理解一些，最近利用国庆开始学习这本教材，感觉还是有必要继续学。

由于表示的变化，为了知识的承前启后，基于陈老先生的教材对事件独立性、条件概率等前面章节介绍过的内容在本文重新介绍一下。

二、事件的蕴涵、包含及相等

在同一试验下的两个事件A和B，如果当A发生时B必发生，则称A蕴含B，或者说B包含A，记为A ⊂ B。若A、B互相蕴含，即A⊂B且B⊂A，则称A、B 两事件相等，记为A=B。

注意：蕴涵和包含是相反关系。

三、事件的互斥和对立

  1. 如果两个事件A、B不可能在同一试验中都发生（包括都不发生）则称它们是互斥的；
  2. 如果一些事件中任意两个都是互斥的，则称它们是两两互斥的；
  3. 如果A为一事件，则事件B=A不发生 称为A的对立事件，记为：

四、事件的和（或称为并）以及加法公理

  1. 设有2个时间A、B，定义一个新事件C：C=A发生或B发生=A、B至少发生一个，则称事件C为事件A、B的和（或并），记为C=A+B；
  2. 定理：若干个互斥事件之和的概率，等于各事件的概率之和，这里事件的个数可以是有限的或无限的，这个定理就称为概率的加法定理（也称为加法公理），记为：P(A1+A2+…)=P(A1)+P(A2)+…。注意概率的加法定理的基础条件是各事件必须是两两互斥的；
  3. 事件A的对立事件Ac的概率P(Ac)=1-P(A)。

五、事件的积（或称为交）和差

  1. 如果有两个事件A、B，定义事件C=A、B都发生，则称事件C是事件AB的积或乘积（或交），记为：C=AB；

  2. 多个事件A1、A2、…的积A是指事件A1、A2、…都发生，记为:A=A1A2…,也可以记为：

  3. 两个事件A、B之差记为 A－B，定义为：A-B=A发生，B不发生，A-B = ABc，因此差是可以通过积进行定义。
    概率加法公理

六、事件的运算法则

假设有事件A、B、C，则有关于事件的如下运算法则：

  1. 加法交换律：A+B=B+A；
  2. 乘法交换律：AB=BA;
  3. 乘法结合律：(AB)C=A(BC)；
  4. 分配律：A(B-C)=AB-AC。

七、条件概率

  • 一般来讲，条件概率是附加一定条件之后所计算出的概率；
  • 在概率论中，决定试验的基础条件被看做已定不变的，如果不再加入其它条件或假定，则算出的概率就是无条件概率；
  • 设有两个事件A、B，且P(B)≠0，则在给定B发生的条件下A发生的概率为条件概率，记为P(A|B)，定义为：P(A|B)=P(AB)/P(B)。

老猿注：为什么条件概率的计算公式是P(A|B)=P(AB)/P(B)，请参考《人工智能数学基础–概率与统计1：随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则》。

八、事件的独立性和概率乘法定理

  1. 对于两个事件A、B，如果B发生与否对A的发生可能性毫无影响，则称为事件A和B是独立的。由于B的发生不影响A的发生，此时P(A|B)=P(A)，按照 条件概率的计算公式P(A|B)=P(AB)/P(B)可得：P(AB)=P(A)P(B)；
  2. 两个事件A、B是独立的，则P(AB)=P(A)P(B)，反过来如果两个事件A、B满足P(AB)=P(A)P(B)，则称A、B是独立的；
  3. 两个独立事件A、B的积AB的概率P(AB)等于其各自概率的乘积P(A)P(B)，P(AB)=P(A)P(B)称为概率的乘法定律；
  4. 设A1、A2、…为有限或无限个事件，如果任意取出有限个Aj1、Aj2、…、Ajn，P(Aj1Aj2…Ajn)=P(Aj1)P(Aj2)…P(Ajn)，则称事件A1、A2、…相互独立。根据本公式定义的独立事件与由条件概率触发的定义是等价的，或者说对任意Aj1、Aj2、…、Ajn，有：
    P(Aj1|Aj2…Ajn)=P(Aj1)，即任意事件Aj1发生的可能性大小，不受其他事件发生的影响；
  5. 若干个独立事件A1、A2、…An之积的概率，等于各事件概率的积，P(A1A2…An)=P(A1)P(A2)…P(An)；
  6. 独立事件的任意一部分也独立，不同独立事件决定的事件也独立，这里说的决定是指通过运算得到，注意如果决定2个事件中有相同事件则决定的事件不是相互独立的；
  7. 若干个独立事件A1、A2、…An，将其中任意一部分改为对立事件时，所得事件仍然相互独立 。

老猿注：独立事件的积的概率等于各自概率的积，互斥事件的和的概率等于各自概率的和，这两者的前提是不同的，即相加是互斥，相乘是独立。

九、全概率公式

  1. 设B1、B2、…为有限个或无限个事件，它们两两互斥且在每次试验中至少发生一个，即：
    BiBj=∅（不可能事件）（i≠j）
    B1+B2+…=Ω（必然事件）
    称具有这样性质的一组事件称为“完备事件群”
  2. 对上述完备事件群，考虑任一事件A，有A=AΩ=AB1+AB2+…，由于B1、B2、…两两互斥，则AB1、AB2、…两两互斥，依据加法定理：P(A)=P(AB1)+P(AB2)+…,再由条件概率公式P(ABi)=P(Bi)P(A|Bi)，得到：
    P(A) = P(B1)P(A|B1)+P(B2)P(A|B2)+…
    上述公式就称为全概率公式。
  3. 全概率公式的理论和实际意义在于：当复杂情况下A的概率P(A)不容易计算，但A总是随某个Bi伴出，适当去构造一组Bi往往可以简化计算。

老猿注：全概率公式中Bi可以看做事件A发生的原因，因此全概率公式可以看作是由原因的概率推结果的概率。

十、贝叶斯公式

10.1、贝叶斯公式的定义

设B1、B2、…为完备事件群，对任一事件A，结合条件概率的定义有：

P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi) / (P(B1)P(A|B1)+P(B2)P(A|B2)+…)=P(Bi)P(A|Bi) / (ΣP(Bj)P(A|Bj))

上述公式就称为贝叶斯公式，是英国学者T·贝叶斯提出的。

10.2、贝叶斯公式的意义

贝叶斯公式中的事件A可以看作已经发生的事件，Bi可以看做事件A发生的原因，因此贝叶斯公式可用于在A发生的情况下，去找各个原因导致事件A发生的概率，这个概率与P(Bi|A)成比例。

10.3、例1

有三个盒子C1、C2、C3，各有100个球，其中C1盒含白球80个、红球10个、黑球10个；C2为白球10个、红球80个、黑球10个；C3为白球10个、红球10个、黑球80个，现从这三个盒子中随机地抽出一个(每盒被抽的概率为1/3)，然后从所抽出的盒中随机抽出一个球(每球被抽的概率为0.01)，结果抽出者为白球。问“该白球是从Ci盒中抽出”的可能性有多大(i=1，2，3)？

解：
记Bi=抽出的为Ci盒(i=1，2，3)，A=抽出白球，要求的是条件概率P(Bi|A)。按假定，有
P(B1)=P(B2)=P(B3)=1/3，
P(A|B1)=0.8，P(A|B2)=0.1，P(A|B3)=0.1
代入贝叶斯公式，算出分母：P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)=1/3*(0.8+0.1+0.1)=1/3，其实从300个球中抽100个球的概率就是1/3，因此可以算得：
P(B1|A)=0.8，P(B2|A)=0.1，P(B3|A)=0.1。

因为C1盒所含白球最多，故在已知抽出白球的情况下，该球系来自C1盒的可能性也最大，理所当然。可能仍有读者不完全了然于心，则可以设想这么一个试验，准备两张纸，把例中的试验一次又一次地做下去：每抽出一个盒，在左边的纸上记下其为C1或C2或C3(不管从该盒中抽出的球如何)；而只有在抽出的球为白球时，才在右边的纸上记下该盒为C，或C2或C3。在进行了极大量次数的试验后，会发现左边纸上C1的比例很接近1/3，而在右边纸上C1的比例则很接近0.8。

10.4、例2

设某种病菌在人口中的带菌率为0.03，当检查时，由于技术及操作的不完善以及种种特殊原因，使带菌者未必检出阳性反应而不带菌者也可能呈阳性反应。
假定： P(阳性|带菌)=0.99，P(阴性|带菌)=0.01， P(阳性|不带菌)=0.05，P(阴性|不带菌)=0.95。
现设某人检出阳性，问“他带菌”的概率是多少？

解：

此问题相当于 P(B1)=0.03，P(B2)=0.97，且P(A|B1)=0.99，P(A|B2)=0.05，所求的概率为P(B1|A)，按贝叶斯公式算出：
P(B1|A) = P(B1)P(A|B1)/( P(B1)P(A|B1)+ P(B2)P(A|B2)) = (0.03)(0.99)/[(0.03)(0.99)+(0.97)(0.05)]=0.380。

也就是说，即使你检出阳性，尚可不必过早下结论你一定带菌了。实际上，这种可能性尚不到40%。
这个例子很值得玩味，且对其“思维定势”中无概率成分的人来说，简直有点难以置信.说穿了，理由简单之极，由于带菌率极低，在全人口中绝大部分不带菌。由于检验方法的不完善，在这大批人中会检出许多呈阳性者。另一方面，带菌者在全人口中很少，即使检测出阳性，在这两部分阳性的人群中占比相对较少，属于虚报性质，因此提高精度在这类检验中非常重要。

小结

本文结合陈希孺老先生的概率论教材介绍了事件的互斥、独立的概念，概率的运算法则，互斥事件的加法定理、独立事件的乘法定理以及条件概率的定义以及由此推导出来的完备事件群的全概率公式和贝叶斯公式，最后介绍了贝叶斯公式在解决实际问题中的应用。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

  1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
  2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
  3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
  4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

老猿Python，跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░

人工智能数学基础--概率与统计4：联合分布与边缘分布

一、引言本文是《人工智能数学基础–概率与统计3：随机变量与概率分布》的后续篇，本文中的公式编号从15开始，前面14个公式请参考人工智能数学基础–概率与统计3：随机变量与概率分布》。二、联合分布概... 查看详情

人工智能数学基础--概率与统计0：概率是什么

概率又称为几率、测度、或然率，是表示某种情况（事件）出现的可能性大小的一种数量指示，他介于0和1之间。主观概率：指人们对某种事件的心态或倾向性，来源于人们的经验或知识，可能会与人... 查看详情

人工智能数学基础--概率与统计13：连续随机变量的标准正态分布

一、引言在《人工智能数学基础–概率与统计12：连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数的概念，并介绍了连续随机变量一个重要的概率密度函数：正态分布的概率... 查看详情

人工智能数学基础--概率与统计3：随机变量与概率分布

一、随机变量假设对一个样本空间的每个点，我们指定一个数，于是就在该样本空间上定义了一个函数，称这个函数为随机变量（randomvariable）或更确切地称之为随机函数。随机变量通常用大写字母X或Y表示。... 查看详情

人工智能数学基础--概率与统计12：连续随机变量的概率密度函数以及正态分布

一、连续随机变量的概率密度函数的定义在《人工智能数学基础–概率与统计10：离散随机变量的概率函数及常见的二项分布、泊松分布》介绍了概率分布函数的概念：设X为随机变量（包括离散和非离散），... 查看详情

人工智能数学基础--概率与统计14：连续随机变量的指数分布威布尔分布和均匀分布

一、引言在《人工智能数学基础–概率与统计12：连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数以及正态分布，《人工智能数学基础–概率与统计13：连续随机变量的标准... 查看详情

人工智能数学基础--概率与统计5：独立随机变量和变量替换

...;y对所有的x和y都是独立事件（独立事件定义请参考《人工智能数学基础–概率与统计1：随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则》），则称X和Y是独立随机变量，在该情形：P(... 查看详情

人工智能数学基础--概率与统计8：一个很有意思的下棋输赢概率问题

一、问题甲、乙二人下象棋，每局甲胜的概率为a，乙胜的概率为b。为简化问题，设没有和局的情况，这意味着a+b=1。设想甲的棋艺高于乙，即a>b。考虑到这个情况，他们商定最终胜负的规则如下&#x... 查看详情

人工智能数学基础--概率与统计10：离散随机变量的概率函数及常见的二项分布泊松分布

一、离散随机变量的概率函数及分布函数设X为离散随机变量，其全部可能取值为a1,a2,…，则：pi=P(X=ai)&nsp&nsp&nsp&nsp(i=1,2,…)称为X的概率函数，也称为随机变量X的概率分布；设X为随机变量&#... 查看详情

人工智能数学基础--概率与统计13：连续随机变量的标准正态分布

一、引言在《人工智能数学基础–概率与统计12：连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数的概念，并介绍了连续随机变量一个重要的概率密度函数：正态分布的概率... 查看详情

人工智能数学基础--概率与统计0：概率是什么

概率又称为几率、测度、或然率，是表示某种情况（事件）出现的可能性大小的一种数量指示，他介于0和1之间。主观概率：指人们对某种事件的心态或倾向性，来源于人们的经验或知识，可能会与人... 查看详情

深度学习数学基础-概率与信息论(代码片段)

...有广泛应用，是学习这两门学科的基础。概率与信息论在人工智能领域的应用在人工智能领域，概率论主要有两种用途。首先，概率定律告诉我们AI系统应该如何推理，基于此我们设计一些算法来计算或者估算由概率论导出的表... 查看详情

人工智能数学基础--概率与统计7：学习中一些术语的称呼或表示变化说明以及独立事件的一些补充推论

一、概念表示变化说明笔者最开始学习概率论时，是以美版M.R.斯皮格尔等著作的《概率与统计》作为教材学习，学习过程中发现部分内容理解困难，之所以这样，一是这本书的内容太古老，教材是2002年翻译出... 查看详情

人工智能数学基础--概率与统计14：连续随机变量的指数分布威布尔分布和均匀分布

一、引言在《人工智能数学基础–概率与统计12：连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数以及正态分布，《人工智能数学基础–概率与统计13：连续随机变量的标准... 查看详情

概率统计丨陈希孺《概率论与数理统计》思维导图

除了线性代数，概率论（Probabilitytheory）和统计学（Statistics）也是机器学习中常用的数学工具。陈希孺老先生的《概率论与数理统计》在知乎上的评价很高，我在上学期花时间读了一遍，读完的感觉是，本书的概率论部分可读性... 查看详情

人工智能数学基础--概率与统计2：排列组合的表示方法二项式系数及斯特林近似

###引言在很多情况样本空间的样本点数不是非常大，从而直接计数样本点数获得概率并不困难。当然，有些问题直接计数实际上是不可能的。计数要使用**组合分析**，这也称为一种精细的计数方法。这些组合分析用... 查看详情

概率论小课堂：公理化过程（大数据方法解决问题的理论基础）

文章目录引言I初等概率论1.119世纪概率论的最大难题1.2伯努利版本的大数定理1.3切比雪夫版本的大数定理II现代概率论（用公理来描述概率论）2.1柯尔莫哥洛夫2.1用公理来描述概率论III最基本的概率论定理3.1互补事件的概率之和... 查看详情

机器学习之概率与统计-随机变量及其分布

目录一、 概率公理及推论...21.   联合概率...22.   条件概率...23.   全概率公式...24.   贝叶斯公式...2二、 随机变量及其分布...21.   随机变量...22.  &nb 查看详情