关键词：
深度学习中的数学
1、数学是基石，编程为工具
2、深度学习基本全是优化问题（数学）
微积分知识重点：
① 导数：导数法则、常见的函数的导数、
② 多元函数的导数：求梯度（偏导数）、二阶导数和hess矩阵
l 为什么需要使用矩阵表达多元函数？
方便计算、简洁
l 二次型求梯度 特别简单（需要了解：张矩阵）、
泰勒级数和极值：
l 实际中我们想求一个函数的极值点：
令f’(x) = 0,哇，太难了............怎么办？（泰勒展开）
一阶函数函数的导数是一个数，可以确定函数的极值点。但是二阶、多阶呢？
写成二次型后求hess矩阵，判断hess矩阵的正定性。
l 为什么要用梯度下降法？？？
使用泰勒展开，如果 δ为函数的梯度，
为了求出f’(x) = 0，是一种迭代求法。
概率论知识：
随机变量：分布函数、累积分布函数（求概率）、概率密度函数（累积分布函数的导数）
l 高斯分布（最完美的分布）
对称轴：μ 分散程度：δ
独立的高斯变量相加仍然是高斯分布！（神奇）。
X = x1 + x2 + x3 （三项以后）(任意独立分布加起来也是高斯分布)
贝叶斯公式（机器学习中最重要的公式）：
矩阵重点：
特征值和特征向量的理解：
Ax = λx
这个式子是如此的简单粗暴，以致于从这个公式来看，给向量x乘上一个矩阵A，只是相当于给这个向量乘上了一个系数λ。偌大一个矩阵A对向量x的作用竟然本质上不过只是和一个小小的数字λ相同而已！！！
好像只是对x1，x2进行了旋转。但是x3的方向没变。
l 特征分解（对角化）：
对称矩阵一定可以对角化（概率：协方差矩阵就是对角阵）
（PCA 就是根据矩阵的特征值来降维。）
协方差矩阵：
降维之后（降行维数），我们让列（a1 a2 a3）的方差尽可能大，让行之间（a1 a2 a3, b1 b2 b3）的方差尽可能小。
注意：Cx 为协方差矩阵 求出特征向量 * 原始矩阵 = 目标阵
优化问题：（数值分析知识）。
机器学习数学系列：机器学习与数学基础知识
目录：机器学习基础： 机器学习的分类与一般思路微积分基础： 泰勒公式，导数与梯度概率与统计基础： 概率公式、常见分布、常见统计量线性代数基础： 矩阵乘法的几何意义 这是一张非常著名的图，... 查看详情
深度学习都需要学习那些内容？
...数、概率论和凸优化四门数学课程包含的数学知识，熟知机器学习的基本理论和方法，是入门深度学习技术的前提。因为无论是理解深度网络中各个层的运算和梯度推导，还是进行问题的形式化或是推导损失函数，都离不开扎实... 查看详情
机器学习：2.机器学习相关数学基础
本周任务：请确保熟悉并理解机器学习数学部分常用相关概念:1.高等数学1）函数2）极限3）导数4）极值和最值5）泰勒级数6）梯度7）梯度下降2.线性代数1）基本概念2）行列式3）矩阵4）最小二乘法5）向量的线性相关性3.概... 查看详情
机器学习数学基础知识备忘
1.特征值分解 2.奇异值分解奇异值的物理意义是什么？ 奇异值分解(SVD)原理详解及推导 奇异值分解(SVD)原理与在降维中的应用 奇异值分解SVD的数学解释3. 查看详情
吴恩达：如何学习机器学习
...ale干货 作者：吴恩达，卡内基梅隆大学系统学习机器学习是重点想要成为一名人工智能从业者？系统学习机器学习是重点！机器学习是一门不需要进行明确编程就能使计算机发挥作用的科学。在过去的十年里ÿ... 查看详情
深度学习/机器学习入门基础数学知识整理：数学上supinf含义，和maxmin的区别
文章目录inf和sup的定义inf和sup的性质、证明sup,inf和max,min的区别参考资料inf和sup的定义经常在文献中看到inf和sup，很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界：inf：infimum或inf... 查看详情
总结学习机器学习过程中用到的数据学知识
现在机器学习行业持续加温，应届毕业生年薪持续走高，2019年毕业生算法岗年薪40万起，上不封顶，吸引着越来越多的人想往机器学习方向转。但是刚接触到算法时，看到那些数学公式都望而生畏，特别是公式的推导。今天本文... 查看详情
如何自学人工智能
...的一些背景知识；（2）补充数学或编程知识；（3）熟悉机器学习工具库；（4）系统的学习AI知识；（5）动手去做一些AI应用；1了解人工智能的背景知识人工智能里面的概念很多，比如机器学习、深度学习、神经网络等等，使得... 查看详情
学习深度学习如何下手
...析和奇异值分解中。其次是概率论与统计学。广义的说，机器学习的核心是统计推断，机器学习的巨头不少都是统计学大师，如迈克尔乔丹，杨乐坤，辛顿等，另外机器学习中大量用到贝叶斯公式，隐马尔科夫模型等等。再次就... 查看详情
机器学习——分类
1.机器学习的主要分类（1）监督学习（Supervisedlearning）?训练数据有目标向量（标签）?分类、回归…（2）非监督学习（Unsupervisedlearning）?训练数据没有目标向量（标签）?聚类、密度估计、可视化…（3）强化学习（Reinforce... 查看详情
机器学习教程一-不懂这些线性代数知识别说你是搞机器学习的
...r.com/blogshow/?blogId=1数学是计算机技术的基础，线性代数是机器学习和深度学习的基础，了解数据知识最好的方法我觉得是理解概念，数学不只是上学时用来考试的，也是工作中必不可少的基础知识，实际上有很多有趣的数学门类... 查看详情
机器学习的数学基础(代码片段)
一、概述我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机... 查看详情
2.机器学习相关数学基础
本周任务：请确保熟悉并理解机器学习数学部分常用相关概念:1.高等数学1）函数2）极限3）导数4）极值和最值5）泰勒级数6）梯度7）梯度下降2.线性代数1）基本概念2）行列式3）矩阵4）最小二乘法5）向量的线性相关性3.概率论1... 查看详情
第二次-机器学习相关数学基础
...V1Tb411H7uC?p=21）P2概率论与贝叶斯先验2）P3矩阵和线性代数机器学习是一门多领域交叉学科，涉及较多的数学知识，本节课知识之前都有学过，这次根据重点重新梳理一遍，一定要多加重视。通过观看视频，大家对课程的数学基础... 查看详情
机器学习｜数学基础mathematicsformachinelearning系列之矩阵理论（19）：不定积分（补充知识）
前言很长一段时间没有接触高数了（大一学后就没有咋再学过），很多知识点都忘记的差不多了最近学习需要用到以前的一些知识点，所以才编写这篇文章用以回忆、记录一下基本积分表∫kdx=kx+C(k是常数)\\intkdx=kx+C(k是常数)∫ 查看详情
机器学习中的线性代数
第二章机器学习中的线性代数知识线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始... 查看详情
深度学习/机器学习入门基础数学知识整理：hoeffding不等式，
开写之前先推荐一个林轩田先生的书，《LearningFromData》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览... 查看详情
机器学习数学知识中令人费解的notation符号注解
$argmin_xf(x),min(f(x))$$min(f(x))$的意思是函数$f(x)$的最小值$argmin$的意思是返回使得表达式取得最小值时对应的输入变量值。例如$argmin_xf(x)$等于当$f(x)$取得最小值时对应的x值。下面的例子中$min(f(x))=-2,argmin_x(f(x))=4.9$ $ extrmifk=argmin... 查看详情