人工智能数学基础--概率与统计4:联合分布与边缘分布

LaoYuanPython LaoYuanPython     2022-12-06     675

关键词:

一、引言

本文是《人工智能数学基础–概率与统计3:随机变量与概率分布》的后续篇,本文中的公式编号从15开始,前面14个公式请参考人工智能数学基础–概率与统计3:随机变量与概率分布》。

二、联合分布概念

2.1、概述

人工智能数学基础–概率与统计3:随机变量与概率分布》的随机变量分布函数的概念推广到两个或更多个随机变量的情形对应的概率分布就是联合分布。即离散随机变量的概率质量函数和连续随机变量的概率密度函数都可以同时作用于多个随机变量,这种多个随机变量的概率分布被称为联合概率分布(joint probability distribution)。

考虑两个随机变量的典型情形,它们或者两个都是离散的或者两个都是连续的。至于一个变量是离散的而另一个是连续的情形,则只要适当修改就容易解决,推广为两个以上变量的情形,也能解决。

2.2、 离散随机变量情形

若X和Y是两个离散的随机变量,我们用下式来定义X和Y的联合概率函数

P(X = x,Y= y)=f(x,y)       (13)

其中:
(1)、f(x,y)≥0;
(2)、ΣΣf(x,y)=1,即对概率密度函数基于x和y两个维度叠加求和后的值为1。

假定X可取m个值x1,x2,…,xm中的任一个,Y可取n个值y1,y2,…,yn中的任一个,则事件X=xj和Y=yk的概率由下式给出:

P(X= xj,Y=yk)=f(xj,yk)       (14)

X和Y的联合概率函数可以用表2-3中的联合概率来描述。X=xj的概率可对所有在对应于xj的行上各项相加,用下式得到:

公式(15)中 j=1,2,…,m,该公式对应表2-3的最右边的列或边缘,为每行所有单元小格的和。类似地,Y=yk的概率可对所有在对应于yk的列上各项相加,用下式得到

对k=1,2,…,n,分别对应在表2-3的最下边的行或边缘,表示为各列单元和。由于概率(15)和(16)是从表的边缘得到的,我们常常把f1(xj)和f2(yk)(或简记为f1(x)和f2(y))分别称为X和Y的边缘概率函数(marginal probability function)。也应该注意到

它可以写成

X和Y的联合分布函数由下式定义

在表2-3中,F(x,y)是所有满足工xj≤x和yk≤y的单元小格的总和。

2.3、 连续情形

丙个变量都是连续的情形,只要对离散的情形中的求和用积分代替就可类似地得到,因此,随机变量X和Y的联合概率函数(或通常称之为X和Y的联合密度函数)被定义为

x=f(x,y)的图形描绘出一块曲面,称为概率曲面,像图2-4所显示的那样。按上述性质2,界于该曲面与xy平面之间的总体积等于1。

对于X属于a与b之间而Y属于c与d之间的概率,在几何上,由图2-4中阴影部分的体积给出,在数学上由下式给出:

更一般地,若A 代表任一个事件,对应它的是xy平面上的一个区域RA,在此情形中,我们可用RA上的积分来求A的概率,即:

在该情形中,X和Y的联合分布函数被下式定义:

下列式子与《人工智能数学基础–概率与统计3:随机变量与概率分布》中的(11)式类似:

即密度函数由对分布函数关于x与y求导而得到。

从(22)式得到:

我们分别称(24)和(25)式为X和Y的边缘分布函数或简称分布函数,则(24)和(25)式关于x和y的导数就称为X和Y的边缘密度函数,或简称密度函数,并用下式给出:

三、小结

概率密度函数都同时作用于多个随机变量的概率分布被称为联合概率分布(joint probability distribution),联合概率分布可以看做是一组变量的概率分布,如果需要了解其中一个子集的概率分布,则就是边缘概率分布。

对于离散随机变量,某个子集的边缘概率计算就是将带该子集变量的所有其他子集可能取值求和,对于连续随机变量,则是对该子集变量外的其他子集求积分。

说明:

本文内容是老猿学习美版M.R.斯皮格尔等著作的《概率与统计》的总结,有需要高数原教材电子版以及OpenCV、Python基础知识、图像处理原理介绍相关电子资料,或对文章内有有疑问咨询的,请扫博客首页左边二维码加微信公号,根据加微信公号后的自动回复操作。

更多人工智能数学基础请参考专栏《人工智能数学基础》。

写博不易,敬请支持:

如果阅读本文于您有所获,敬请点赞、评论、收藏,谢谢大家的支持!

关于老猿的付费专栏

  1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程,对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》;
  2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理,对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》;
  3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏,是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合,相关资料基本上都是老猿反复研究的成果,有助于OpenCV-Python初学者比较深入地理解OpenCV,对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录
  4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容,包括爬虫入门的基础知识,以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习,第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁,可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏:Python基础教程目录)从零开始学习Python。

如果有兴趣也愿意支持老猿的读者,欢迎购买付费专栏。

老猿Python,跟老猿学Python!

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython

人工智能数学基础--概率与统计13:连续随机变量的标准正态分布

一、引言在《人工智能数学基础–概率与统计12:连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数的概念,并介绍了连续随机变量一个重要的概率密度函数:正态分布的概率... 查看详情

概率论与数理统计

文章目录随机事件与概率排列组合计算公式一些基本概念集合的运算及性质概率的定义及性质经典概型条件概率事件相互独立全概率公式与贝叶斯公式随机变量及其分布一维随机变量概率分布函数和概率密度函数二项分布泊松分... 查看详情

人工智能数学基础--概率与统计3:随机变量与概率分布

一、随机变量假设对一个样本空间的每个点,我们指定一个数,于是就在该样本空间上定义了一个函数,称这个函数为随机变量(randomvariable)或更确切地称之为随机函数。随机变量通常用大写字母X或Y表示。... 查看详情

人工智能数学基础--概率与统计12:连续随机变量的概率密度函数以及正态分布

一、连续随机变量的概率密度函数的定义在《人工智能数学基础–概率与统计10:离散随机变量的概率函数及常见的二项分布、泊松分布》介绍了概率分布函数的概念:设X为随机变量(包括离散和非离散),... 查看详情

电子科技大学人工智能期末复习笔记:概率与贝叶斯网络

目录前言概率概率公式贝叶斯公式链式条件概率例题1.求联合概率分布/边缘概率分布/条件概率分布2.灵活运用贝叶斯公式 概率总结贝叶斯网络判断独立性两个事件独立的判断条件独立性的判断假设条件独立的链式法则⚠Active/Ina... 查看详情

人工智能数学基础--概率与统计10:离散随机变量的概率函数及常见的二项分布泊松分布

一、离散随机变量的概率函数及分布函数设X为离散随机变量,其全部可能取值为a1,a2,…,则:pi=P(X=ai)&nsp&nsp&nsp&nsp(i=1,2,…)称为X的概率函数,也称为随机变量X的概率分布;设X为随机变量&#... 查看详情

人工智能数学基础--概率与统计13:连续随机变量的标准正态分布

一、引言在《人工智能数学基础–概率与统计12:连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数的概念,并介绍了连续随机变量一个重要的概率密度函数:正态分布的概率... 查看详情

概率统计笔记:高斯分布的联合概率密度

...考资料:机器学习-白板推导系列笔记(二)-数学基础_scu-liu的博客-CSDN博客 查看详情

人工智能数学基础--概率与统计14:连续随机变量的指数分布威布尔分布和均匀分布

一、引言在《人工智能数学基础–概率与统计12:连续随机变量的概率密度函数以及正态分布》介绍了连续随机变量概率分布及概率密度函数以及正态分布,《人工智能数学基础–概率与统计13:连续随机变量的标准... 查看详情

[概率论与数理统计]笔记:4.3常用的统计分布

常用的统计分布,主要记录了上侧分位数、卡方分布、t分布和F分布的定义和性质。4.3常用的统计分布上侧分位数分位数是一个分界点。上侧分位数与分布函数\\(F\\)以及水平\\(\\alpha\\)有关,常记为\\(F_\\alpha\\).含义:在\\(y=F(x)\\)... 查看详情

机器学习之概率与统计-多元随机变量及其分布

    目录一、  随机向量及其分布...21.多元向量的联合分布...21.1离散情况...21.2连续情况...22.多元向量的边缘分布...22.1离散情况...22.2连续情况...23.多元向量的条件分布...24.贝叶斯规则...35.多元向量独... 查看详情

随机过程8-多元高斯分布及其线性性质

...过程定义2.从高斯分布到多元高斯分布2.1定义2.2多元高斯概率密度函数2.3多元高斯特征函数2.4多元高斯的线性性质3.高斯边缘分布与联合分布3.1从联合分布到边缘分布3.2从边缘分布到联合分布3.3联合高斯分布判据4.高斯分布的相关... 查看详情

[概率论与数理统计]笔记:4.1总体与样本

关于总体与样本的基本概念第四章数理统计的基础知识4.1总体与样本总体与总体分布概念总体:在某种共性基础上由许多个别事物结合起来的整体。个体:指构成统计总体的个别事物的总称。总体的容量:总体中个体的个数。有... 查看详情

深度学习数学基础介绍概率与数理统计

第1章随机事件与概率§1.1随机事件§1.2随机事件的概率§1.3古典概型与几何概型§1.4条件概率§1.5事件的独立性第2章随机变量的分布与数字特征§2.1随机变量及其分布§2.2随机变量的数字特征§2.3常用的离散型分布§2.4常用的连续型... 查看详情

机器学习数学基础总结(代码片段)

目录线性代数一、基本知识二、向量操作三、矩阵运算概率论与随机过程一、概率与分布1.1条件概率与独立事件1.2联合概率分布二、期望三、方差3.1方差3.2协方差与相关系数3.3协方差矩阵四、大数定律及中心极限定理4.1切比雪夫... 查看详情

人工智能数学基础--概率与统计5:独立随机变量和变量替换

...;y对所有的x和y都是独立事件(独立事件定义请参考《人工智能数学基础–概率与统计1:随机试验、样本空间、事件、概率公理定理以及条件概率和贝叶斯法则》),则称X和Y是独立随机变量,在该情形:P(... 查看详情

人工智能数学基础--概率与统计11:离散随机变量的超几何分布和负二项分布

一、超几何分布1.1、定义假设N个产品中M个废品,以X记为从N个产品中随机抽出n个里面所包含的废品数m,则:P(X=m)=(mM)(n−mN−M)/(nN)P(X=m)=\\Large(^M_m)(^N-M_n-m)/(^N_n)P(X=m)=(mM... 查看详情

人工智能数学基础--概率与统计0:概率是什么

概率又称为几率、测度、或然率,是表示某种情况(事件)出现的可能性大小的一种数量指示,他介于0和1之间。主观概率:指人们对某种事件的心态或倾向性,来源于人们的经验或知识,可能会与人... 查看详情