关键词：
深度学习的数学基础
- 微积分
- 无穷小
在17世纪下半叶，数学史上出现了无穷小的概念，而后发展处极限的概念 - 极限
- 数列的极限
- 函数的极限
- 导数
- 微分
- 积分
- 不定积分
也称为原函数或反导数 - 定积分
- 定积分中值定理
- 不定积分
- 牛顿-莱布尼茨公式
- 偏导数
- 无穷小
- 概率统计
- 样本空间
定义：随机试验 E 的所有结果构成的集合称为 E 的 样本空间，记为 S=e
称 S 中的元素 e 为样本点，一个元素的单点集称为基本事件． - 概率
条件概率/后验概率
P（A|B）
边缘概率/先验概率
A的边缘概率表示为P（A）,B的边缘概率表示为P（B）
联合概率
全概率公式
贝叶斯公式 - 随机变量
离散型随机变量
对离散随机变量用求和得全概率
定义
(0-1)分布/两点分布/伯努利分布
二项分布
泊松分布(Poisson分布)
连续型随机变量
对连续随机变量用积分得全概率
概率分布函数F(x)
概率密度函数f(x)
均匀分布
X~U（a，b）
指数分布
正态分布/高斯分布
是研究误差分布的一个理论 - 期望
离散型随机变量的期望
连续型随机变量的期望 - 方差(Variance)
一个随机变量的方差（ Variance ）描述的是它的离散程度，也就是该变量离其期望值的距离
标准差(Standard Deviation)
方差的算术平方根称为该随机变量的标准差。
样本标准差
协方差
相关系数(Correlation coefficient)
协方差矩阵
主成分分析(PCA)
在统计学中被称为主成分分析 (principal components analysis ，简称 PCA) ，在图像处理中称为 Karhunen-Loève 变换 (KL- 变换 ) 。 - 大数定律
大数定律负责给出估计——期望 - 中心极限定理
中心极限定理负责给出大数定律的估计的误差——标准差乘以标准正态分布
大量相互独立的随机变量，其均值（或者和）的分布以正态分布为极限（意思就是当满足某些条件的时候，比如 Sample Size 比较大，采样次数区域无穷大的时候，就越接近正态分布）。而这个定理 amazing 的地方在于，无论是什么分布的随机变量，都满足这个定理。 - MLE(最大似然)
- OLS(最小二乘)
- 样本和抽样
- 置信区间
- 方差分析
- 回归分析
- bootstrap方法
- 马尔可夫链
- 样本空间
- 线性代数
- 数值计算
- sigmoid函数
sigmoid函数只能分两类 - Softmax激活函数
softmax能分多类 - logistic函数
- Relu激活函数
- 网络参数
- 梯度下降Gradient Descent
- 学习率Learning Rate
Subtopic - 误差|损失
均方误差(Mean Squared Error)
交叉熵(Cross-Entropy) - 损失函数(cost function)
0-1损失函数
当模型输出值=样本值，则为1，否则为0
平方损失函数
（模型输出值 - 样本值）^2
绝对值损失函数
|模型输出值 - 样本值|
对数损失函数
log (Y_模型输出)
- sigmoid函数
深度学习如何入门，需要啥基础？
...话最基本的就是要具有一定的编程基础，并且具备一定的数学基础。比如计算机相关专业的本科生、研究生，计算机相关专业的高校讲师，从事IT行业的编程人员，人工智能领域的从业人员。在有一定基础的前提下还是能学会的... 查看详情
深度学习深度学习基础学习笔记(代码片段)
深度学习基础🔭文章目录深度学习基础🔭前言🎠一、深度学习与传统机器学习的区别？二、深度学习的改进点1.更加合适目标函数2.新增Softmax层3.激活函数进化历程4.梯度下降算法进化历程5.BatchNormalization的由来6.... 查看详情
深度学习都需要学习那些内容？
数学基础如果你能够顺畅地读懂深度学习论文中的数学公式，可以独立地推导新方法，则表明你已经具备了必要的数学基础。掌握数学分析、线性代数、概率论和凸优化四门数学课程包含的数学知识，熟知机器学习的基本理论和... 查看详情
数学或英语基础不好的人，如何快速入门深度学习？
自从2016年初，采用神经网络与深度学习的AlphaGo完胜人类围棋高手后，深度学习也被视为当前最接近人工智能的机器学习方法。 从目前全球人工智能的发展趋势来看，深度学习框架正呈现群雄逐鹿的态势，谷歌、脸书、微软、... 查看详情
零基础深度学习能学明白吗？
作为成年人零基础深度学习，学习效果还是很好的，毕竟人们理解能力强了很多，更能踏实下来潜心学习。是可以学会的。参考技术A虽然没有基础，但只要你认真学习，就一定会有收获的。而且深度学习可以大大提高你的学习... 查看详情
学习深度学习需要具备哪些基础才可以？
如果未来要走深度学习方向的话，其实本科数学系的课程基本上够用了，如果不够的话，查缺补漏地看一些资料和书籍就可以了。不需要再去读一个数学系的研究生学位。推荐《DeepLearning》这本书。作者是IanGoodfellow、YoshuaBengio... 查看详情
转载零基础入门深度学习-感知器(代码片段)
【转载】零基础入门深度学习(1)-感知器机器学习深度学习转载自https://www.zybuluo.com/hanbingtao/note/433855无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理... 查看详情
深度学习学起来会很难吗？零基础可以学吗?
优就业的深度学习课程怎么样？深度学习如果没有一定基础学习起来是有难度的零基础学会很吃力深度学习（deeplearning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。至今已有数种深度学习框... 查看详情
深度学习预备知识
深度学习预备知识1、基础数学知识（线性代数、高等数学、概率论部分知识）•导数概念、如何求导、•矩阵概念、矩阵基本运算、•概率的概念、正态分布的概念等【注意】以上内容入门深度学习足够，强烈不建... 查看详情
深度学习基础--激活函数
深度学习基础–激活函数最近在阅读一本书籍–Dive-into-DL-Pytorch（动手学深度学习），链接：https://github.com/newmonkey/Dive-into-DL-PyTorch，自身觉得受益匪浅，在此记录下自己的学习历程。本篇主要记录关于三种... 查看详情
怎么快速入门深度学习
深度学习是一门综合的研究方向，目前大多数研究生都在研究这个，包括我在内，我研究的是图像识别领域，包括图像分类、目标识别、对象定位、风格迁移等等。说回来，那到底要如何去学习深度学习，首先深度学习属于机器... 查看详情
深度学习基础知识串烧
✅作者简介：热爱科研的算法开发者，Python、Matlab项目可交流、沟通、学习。 查看详情
[人工智能-深度学习-8]：神经网络基础-机器学习深度学习模型模型训练
...目录第1章白话机器学习第2章机器学习的模型与步骤 2.1 深度学习与机器学习2.2 机器学习的模型第3章建模步骤1-1&# 查看详情
2.深度学习与神经网络基础
1.人工智能、机器学习和深度学习的概念及关系人工智能（ArtificialIntelligence，AI）——为机器赋予人的智能，即计算机能够像人类一样完成更智能的工作。机器学习是实现人工智能的一种手段。何为“学习”？“如果一个程序可... 查看详情
ai人工智能机器学习深度学习学习路径及推荐书籍
...本语法和常用的Python库，如NumPy、Pandas和Matplotlib等。学习数学基础：机器学习涉及到很多数学知识，尤其是线性代数、微积分和概率论。可以选择上述推荐的书籍进行学习，也可以参考网上的免费教程和视频。学习机器学习基础... 查看详情
深度学习深度学习基础-warm_up训练策略
背景 学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。其实在我们的大多数情况下，遇到loss变成NaN的情况大多数是由于学习率选择不当引起的。warmup介绍 ... 查看详情
深度学习深度学习基础-warm_up训练策略
背景 学习率是最影响性能的超参数之一，如果我们只能调整一个超参数，那么最好的选择就是它。其实在我们的大多数情况下，遇到loss变成NaN的情况大多数是由于学习率选择不当引起的。warmup介绍 ... 查看详情
深度学习基础知识-21加快深度学习模型训练速度的方法(代码片段)
在深度学习任务中，虽然可以通过堆叠参数、设计更复杂的结构来提高模型的表征能力，但这也会导致模型的计算量增加，训练时间延长，大大降低模型的产出效率。这篇文章根据博主的经验简单介绍一些加快模... 查看详情