关键词：
文章目录
inf和sup的定义
经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：
- inf： infimum 或 infima，中文叫下确界或最大下界。 inf(S)， S表示一个集合， inf(S)是指集合S的下确界， 即小于或等于S中所有元素的最大值， 这个数不一定在集合S中。
- sup：supremum，中文叫上确界。sup(S)是指集合S的上确界，即大于或等于S的所有元素的最小值， 这个数不一定在集合S中。
下面给出一些集合上的简单例子[1]：
inf例子：
- i n f 1 , 2 , 3 = 1 inf\\1,2,3\\ = 1 inf1,2,3=1;
- i n f x ∈ R , 0 < x < 1 = 0 inf\\x \\in \\mathbbR, 0<x<1 \\ = 0 infx∈R,0<x<1=0 ;
- i n f ( − 1 ) n + 1 / n : n = 1 , 2 , 3 , . . . = − 1 inf\\(-1)^n + 1/n : n = 1, 2, 3,...\\ = -1 inf(−1)n+1/n:n=1,2,3,...=−1;
如果一个集合有最小元素， 则下确界等于这个最小元素，下确界属于这个集合，如例子1；反之，则下确界不属于这个集合，这一点从例子2，3，中可以看出。
sup例子：
- s u p 1 , 2 , 3 = 3 sup\\1,2,3\\ = 3 sup1,2,3=3;
- s u p x ∈ R , 0 < x < 1 = s u p x ∈ R , 0 ≤ x ≤ 1 = 1 sup\\x \\in \\mathbbR, 0<x<1 \\ = sup\\x \\in \\mathbbR, 0\\leq x\\leq1 \\ = 1 supx∈R,0<x<1=supx∈R,0≤x≤1=1;
- s u p ( − 1 ) n − 1 / n : n = 1 , 2 , 3 , . . . = 1 sup\\(-1)^n - 1/n : n = 1, 2, 3,...\\ = 1 sup(−1)n−1/n:n=1,2,3,...=1;
如果一个集合有最大元素， 则上确界等于这个最大元素，上确界属于这个集合，如例子1；反之，则上确界不属于这个集合，这一点从例子2，3 中可以看出。
inf和sup的性质、证明
简单性质：
- s u p a + b : a ∈ A a n d b ∈ B = s u p ( A ) + s u p ( B ) sup\\a+b:a\\in A\\ and\\ b \\in B\\ = sup(A)+sup(B) supa+b:a∈A and b∈B=sup(A)+sup(B);
- i n f a + b : a ∈ A a n d b ∈ B = i n f ( A ) + i n f ( B ) inf\\a+b:a\\in A\\ and\\ b \\in B\\ = inf(A)+inf(B) infa+b:a∈A and b∈B=inf(A)+inf(B);
证明：令A+B=a+b|a∈A,b∈B，求证：sup(A+B)=supA + supB
首先证明supA+supB是集合A+B的一个上界，再证明其是一个最小的上界：
另外上述性质对减法、乘法、除法是不成立的。很容找到反例，例如A=-1,1,B=-5,1，那么sup(A*B)=5，而supA=1、supB=1，乘法是不成立的。减法和除法也类似，很容易找到反例。
sup, inf和max, min的区别
集合是比较简单容易理解的，但是实际中用的比较多是表示一个函数上下确界，写成
s
u
p
f
(
x
)
sup f(x)
supf(x)，
i
n
f
f
(
x
)
inf f(x)
inff(x)。使用 inf 或 sup 总能保证一个函数的 inf 或 sup 存在，而函数的 min 或 max 有时候不存在。例如
f
(
x
)
=
s
i
n
(
x
)
/
x
f(x)=sin(x)/x
f(x)=sin(x)/x该函数在 x=0 处没有值，因此其最大值即 max 不存在，但是我们可以看出 f(x) 最小的上界为 1，即
s
u
p
f
(
x
)
=
1
sup f(x)=1
supf(x)=1。
参考资料
[1] https://blog.csdn.net/D_turtle/article/details/81901853
[2] https://www.zybang.com/question/6adc7986ab84c9d94fdc00ccfdc1f7db.html
[3] https://blog.csdn.net/robert_chen1988/article/details/81233738
深度学习/机器学习入门基础数学知识整理：中心极限定理，一元和多元高斯分布
文章目录中心极限定理中心极限定理的简单应用高斯分布一元高斯分布多元高斯分布多元高斯分布的的线性变换两个高斯分布的KL散度参考资料中心极限定理设随机变量X1，X2，…Xn，独立同分布，并且具有有限的... 查看详情
深度学习/机器学习入门基础数学知识整理：jensen不等式简单理解，共轭函数
Jensen不等式及其延伸凸函数最基本的不等式性质，又称Jensen不等式[1]f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y)f(\\thetax+(1-\\theta)y)\\leq\\theta\\f(x)+(1-\\theta)\\f(y)通俗一点讲就是，期望 查看详情
深度学习预备知识
深度学习预备知识1、基础数学知识（线性代数、高等数学、概率论部分知识）•导数概念、如何求导、•矩阵概念、矩阵基本运算、•概率的概念、正态分布的概念等【注意】以上内容入门深度学习足够，强烈不建... 查看详情
怎么快速入门深度学习
深度学习是一门综合的研究方向，目前大多数研究生都在研究这个，包括我在内，我研究的是图像识别领域，包括图像分类、目标识别、对象定位、风格迁移等等。说回来，那到底要如何去学习深度学习，首先深度学习属于机器... 查看详情
机器学习数学系列：机器学习与数学基础知识
目录：机器学习基础： 机器学习的分类与一般思路微积分基础： 泰勒公式，导数与梯度概率与统计基础： 概率公式、常见分布、常见统计量线性代数基础： 矩阵乘法的几何意义 这是一张非常著名的图，... 查看详情
深度学习相关数学资料
...懒惰，其中数学要学好，特别是对于人工智能/机器学习/深度学习来说，现在打下的数学基础或许会令你将来身价暴涨十倍！深度学习作为机器学习与人工智能的子集，兴起稍晚，却使得机器学习能够实现众多的应用，并拓展了... 查看详情
深度学习都需要学习那些内容？
数学基础如果你能够顺畅地读懂深度学习论文中的数学公式，可以独立地推导新方法，则表明你已经具备了必要的数学基础。掌握数学分析、线性代数、概率论和凸优化四门数学课程包含的数学知识，熟知机器学习的基本理论和... 查看详情
数学或英语基础不好的人，如何快速入门深度学习？
自从2016年初，采用神经网络与深度学习的AlphaGo完胜人类围棋高手后，深度学习也被视为当前最接近人工智能的机器学习方法。 从目前全球人工智能的发展趋势来看，深度学习框架正呈现群雄逐鹿的态势，谷歌、脸书、微软、... 查看详情
人工智能深度学习入门练习之（12）tensorflow–数学基础
在创建TensorFlow中的应用程序之前，最好能先理解TensorFlow所需的数学概念。数学被认为是任何机器学习算法的核心。线性代数标量(scalar) 一个单独的数向量(vector) 一列数，即一维数组矩阵(matrix) 二维数组张量(tensor) ... 查看详情
机器学习深度学习的理论与实战入门建议整理
...想必你的脑海中一直萦绕着这么一个问题，“机器学习/深度学习要怎么学呢？（怎么入门，又怎么进一步掌握？）”。关于这个问题其实并没有一个标准答案，有的人可能适合自底向上的学，也就是先从理论和数学开始，然后... 查看详情
ai人工智能机器学习深度学习学习路径及推荐书籍
...熟悉Python编程语言。线性代数和微积分：Pytorch主要用于深度学习领域，深度学习是基于线性代数和微积分的，因此需要具备线性代数和微积分的基础知识。机器学习基础知识：了解机器学习的基本概念和算法，如线性回归、逻... 查看详情
华为云技术分享机器学习（02）——学习资料链接
以下是我学习机器学习过程中的部分学习资料，当然除些之外还有更多的文章和视频，实际看了后觉得好多内容都太难，自己目前的数学基础很难理解里面讲解的内容。另外，资料太多反而影响学习效率，很多内容都是重复的，... 查看详情
机器学习教程一-不懂这些线性代数知识别说你是搞机器学习的
...?blogId=1数学是计算机技术的基础，线性代数是机器学习和深度学习的基础，了解数据知识最好的方法我觉得是理解概念，数学不只是上学时用来考试的，也是工作中必不可少的基础知识，实际上有很多有趣的数学门类在学校里学... 查看详情
机器学习中的重点数学知识
深度学习中的数学1、数学是基石，编程为工具2、深度学习基本全是优化问题（数学）微积分知识重点：① 导数：导数法则、常见的函数的导数、② 多元函数的导数：求梯度（偏导数）、二阶导数和hess矩阵l 为什么... 查看详情
机器学习数学基础知识备忘
1.特征值分解 2.奇异值分解奇异值的物理意义是什么？ 奇异值分解(SVD)原理详解及推导 奇异值分解(SVD)原理与在降维中的应用 奇异值分解SVD的数学解释3. 查看详情
学习深度学习如何下手
...讨论是毫无意义的，刚开始应该先打好编程和数学基础。深度学习看似难度大，按照正确的学习路径学习，可以大大降低学习门槛，同时激发学习的乐趣。简单的说，学习路线大概如下：先学编程、数学和深度学习知识，然后动... 查看详情
入门深度学习的必备数学知识
...，蜻蜓点水式自学了大量编程相关知识，现在对深度学习很感兴趣，正在恶补相关知识。此外，还负责帮忙管理生信媛，一个热衷于分享生物信息学知识的公众号。我浅薄的理解，深度学习是机器学习的一... 查看详情
假期归来，都有哪些编程书上了新书榜？
...的发展这个热度还能持续好久，比如大数据、万物互联、深度学习、计算机视觉等等。大家都想搞懂机器学习并从中分一杯羹，但人类想要学会机器学习可比机器学会学习要难得多，因为高深的数学知识是每一个深入研究机器学... 查看详情