关键词：
数学知识总括
- 微积分(高等数学)
- 线性代数
- 概率论与数理统计
- 凸优化
微积分
微积分学，数学中的基础分支。内容主要包括函数、极限、微分学、积分学及其应用。函数是微积分研究的基本对象，极限是微积分的基本概念，微分和积分是特定过程特定形式的极限
微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的以下知识点：
- 导数和偏导数的定义与计算方法
- 梯度向量的定义
- 极值定理，可导函数在极值点处导数或梯度必须为0
- 雅克比矩阵，这是向量到向量映射函数的偏导数构成的矩阵，在求导推导中会用到
- Hessian矩阵，这是2阶导数对多元函数的推广，与函数的极值有密切的联系
- 凸函数的定义与判断方法
- 泰勒展开公式
- 拉格朗日乘数法，用于求解带等式约束的极值问题
其中最核心的是记住多元函数的泰勒展开公式，根据它我们可以推导出机器学习中常用的梯度下降法，牛顿法，拟牛顿法等一系列最优化方法：
线性代数
线性代数的理论是计算技术的基础，同系统工程，优化理论及稳定性理论等有着密切联系，随着计算技术的发展和计算机的普及，线性代数作为理工科的一门基础课程日益受到重视。线性代数这门课程的特点是概念比较抽象，概念之间联系很密切。内容包括行列式，矩阵，向量空间，线性方程组，矩阵的相似对角化，二次型，线性空间与线性变换等, 机器学习中主要用到以下知识点
- 向量和它的各种运算，包括加法，减法，数乘，转置，内积
- 向量和矩阵的范数，L1范数和L2范数
- 矩阵和它的各种运算，包括加法，减法，乘法，数乘
- 逆矩阵的定义与性质
- 行列式的定义与计算方法
- 二次型的定义
- 矩阵的正定性
- 矩阵的特征值与特征向量
- 矩阵的奇异值分解
- 线性方程组的数值解法，尤其是共轭梯度法
概率论与数理统计
主要内容包括：概率论的基本概念、随机变量及其概率分布、数字特征、大数定律与中心极限定理、统计量及其概率分布、参数估计和假设检验、回归分析、方差分析、马尔科夫链等内容, 机器学习中主要用到以下知识点
- 随机事件的概念，概率的定义与计算方法
- 随机变量与概率分布，尤其是连续型随机变量的概率密度函数和分布函数
- 条件概率与贝叶斯公式
- 常用的概率分布，包括正态分布，伯努利二项分布，均匀分布
- 随机变量的均值与方差，协方差
- 随机变量的独立性
- 最大似然估计
凸优化
凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用
凸优化是机器学习中经常会提及的一个概念，这是一类特殊的优化问题，它的优化变量的可行域是凸集，目标函数是凸函数。凸优化最好的性质是它的所有局部最优解就是全局最优解，因此求解时不会陷入局部最优解。如果一个问题被证明为是凸优化问题，基本上已经宣告此问题得到了解决。在机器学习中，线性回归、岭回归、支持向量机、logistic回归等很多算法求解的都是凸优化问题。
[机器学习]机器学习数学基础
...据项目巩固所学知识,学习的课程是某硅谷的实时推荐和机器学习项目https://www.bilibili.com/video/BV1R4411N78S?p=1以下是我的学习输出:矩阵专题微积分专题概率与统计总结机器学习数学基础涉及矩阵，微积分和概率 查看详情
机器学习需要啥数学基础
我们知道，机器学习涉及到很多的工具，其中最重要的当属数学工具了，因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面... 查看详情
机器学习数学基础总结(代码片段)
目录线性代数一、基本知识二、向量操作三、矩阵运算概率论与随机过程一、概率与分布1.1条件概率与独立事件1.2联合概率分布二、期望三、方差3.1方差3.2协方差与相关系数3.3协方差矩阵四、大数定律及中心极限定理4.1切比雪夫... 查看详情
机器学习中的重点数学知识
深度学习中的数学1、数学是基石，编程为工具2、深度学习基本全是优化问题（数学）微积分知识重点：① 导数：导数法则、常见的函数的导数、② 多元函数的导数：求梯度（偏导数）、二阶导数和hess矩阵l 为什么... 查看详情
机器学习是否需要完整扎实的数学基础？
一个比较高质量的参考语雀网站https://www.yuque.com/angsweet/machine-learning/jian-jie 线代高数概率论高数，微积分，线代，概率论，运筹学（优化）微积分、线性代数、概率与统计、矩阵和数值分析、优化方法线代，微积分，概率论... 查看详情
2.机器学习相关数学基础
1.学习记录 2、用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”，梯度：在指定方向每单位距离的数值变化梯度下降：简单来说就是解决一个问题的时候，... 查看详情
机器学习：2.机器学习相关数学基础
本周任务：请确保熟悉并理解机器学习数学部分常用相关概念:1.高等数学1）函数2）极限3）导数4）极值和最值5）泰勒级数6）梯度7）梯度下降2.线性代数1）基本概念2）行列式3）矩阵4）最小二乘法5）向量的线性相关性3.概... 查看详情
台大李宏毅课程学习总结
...第一周，周一的时候参加第一次组内学习班，发现自己在机器学习和深度学习方面的基础真的是很薄弱，于是决定认真从头看完台大李宏毅《机器学习与深度学习》课程的完整视频学习。所为机器学习，其实可以类比于我们在数... 查看详情
机器学习对数学功底的要求到底有多高
豆瓣的话题：研究机器学习需要什么样的数学基础？来自:求真2013-07-1113:44:22我是小硕一枚，研究方向是机器学习。通过阅读一些机器学习的教科书，发现机器学习对于数学基础要求比较高。我想问一下：一般研究机器学习需要... 查看详情
机器学习如何入门
...授权，非商业转载请注明出处。数学很多人翻看任何一本机器学习的书，看到一推的数学公式就开始打退堂鼓了。开始搜索，提问“机器学习需要哪些数学知识？”然后得到的结果可能会是“矩阵分析，概率论，优化设计……”... 查看详情
机器学习学习整理前言与线性回归(代码片段)
文章目录前言一、简短的预备知识二、线性回归数学推导：基于numpy实现线性回归总结前言博主是一名普通的EE大三学生，专业分流在电子-生医院系，因为实验和工作需要，目前在自学deeplearning，开这个专栏为... 查看详情
机器学习数学系列：机器学习与数学基础知识
目录：机器学习基础： 机器学习的分类与一般思路微积分基础： 泰勒公式，导数与梯度概率与统计基础： 概率公式、常见分布、常见统计量线性代数基础： 矩阵乘法的几何意义 这是一张非常著名的图，... 查看详情
深度学习中的数学基础总结
....3.2奇异值与特征值有什么关系1.4概率分布与随机变量1.4.1机器学 查看详情
深度学习都需要学习那些内容？
...数、概率论和凸优化四门数学课程包含的数学知识，熟知机器学习的基本理论和方法，是入门深度学习技术的前提。因为无论是理解深度网络中各个层的运算和梯度推导，还是进行问题的形式化或是推导损失函数，都离不开扎实... 查看详情
数学建模笔记总结
...总结此篇主要为数学建模资料总结，包括统计建模、机器学习建模介绍及建模使用工具、相关比赛介绍，仅用于个人学习，部分为网络资源，侵权联系删除!1️⃣数模比赛论文模版/项目推荐：GitHub-BetterBench/Math... 查看详情
数学建模笔记总结
...总结此篇主要为数学建模资料总结，包括统计建模、机器学习建模介绍及建模使用工具、相关比赛介绍，仅用于个人学习，部分为网络资源，侵权联系删除!1️⃣数模比赛论文模版/项目推荐：GitHub-BetterBench/Math... 查看详情
ai人工智能机器学习深度学习学习路径及推荐书籍
...微积分的，因此需要具备线性代数和微积分的基础知识。机器学习基础知识：了解机器学习的基本概念和算法，如线性回归、逻辑回归、支持向量机、决策树等。深度学习基础知识：了解深度学习的基本概念和算法，如前馈神经... 查看详情
目前的机器学习以及需要的机器学习
除了以决策树为基础的机器学习算法以外，其他的大部分机器学习算法的最终目的就是为了拟合一个函数。也就是说，我们假定客观世界的规律可以用一个函数表示。但事实真的如此吗？客观世界的规则可以分为两部分。宇宙规... 查看详情