关键词：
概率 & 统计
Lary Wasserman《All of Statistics》
概率：给定数据生成过程，那么输出的性质是怎样
统计：给定输出结果，那么生成数据的过程是怎样
统计 vs 机器学习
| 统计 | 机器学习 |
|
Models Parameters Fitting, Estimate Regression/Classification Clustering,Density estimation |
Network, Graph Weights Learning Supervised Learning Unsupervised Learning |
随机试验
所有试验结果构成样本空间，随机事件是样本空间的子集
概率三大公理：
$P(E) in R, P(E)>=0, forall E in F$
$P(Omega)=1$
$P(U^infty _iE_i)=sum_i=1^infty P(E_i)$ $E_i$间互斥
随机变量
离散数据：PMF probability mass function 概率质量函数 $P(X=x)$
连续数据：PDF probability density function 概率密度函数 $f(x)=fracdF(Xleq x)dx$
CDF cumulative distribution function 累积分布函数(分布函数) $F(X<=x)$，是PDF的积分
多维随机变量
一次随机试验关注多个维度
联合分布：$P(Xleq x, Yleq y)$
边缘分布：$P(Xleq x)=sum P(Xleq x, Yleq +infty)$
条件分布：$P(Xleq x|Yleq y)=fracP(Xleq x,Yleq y)P(Yleq y)$
随机变量数字特征
- 众数：Mode，最可能出现的值
- 中位数：Mdedian，$P(Xgeq median)=P(Xleq mddian)=0.5$
- 期望：Expectation，反复抽样，期望得到的平均值
N阶矩：原点矩(c=0)&中心矩(c=期望)：$mu_n = int_-infty^-infty(x-c)^nf(x)dx$
归一化N阶中心矩 $fracmu_nsigma^n=fracE[(X-mu)^n]sigma^n$
| N阶矩 | 原点矩 | 中心矩阵 | 归一化中心矩 | 表征(PDF) |
| 1 | 期望 | 中心 | ||
| 2 | 方差 | 胖瘦 | ||
| 3 | 偏度 | 偏向skewness | ||
| 4 | 峰度 | 尖锐度Kurtosis |
- 方差
- 偏度
$gamma_1 = E[(fracX-musigma)^3]=fracmu_3sigma^3=fracE[(X-mu)^3](E[(X-mu)^2])^3/2=frackappa_3kappa_2^3/2$
- 峰度
$Kurt[X] = E[(fracX-musigma)^4]=fracmu_4sigma^4=fracE[(X-mu)^4](E[(X-mu)^2])^2$
- 特征函数：频域变化，pdf的傅里叶变换
- 协方差：衡量两个变量的线性相关性
$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$
正相关：X越大，Y越大
负相关：X越大，Y越小
不相关：X和Y的变化没有关系
- 相关系数：标准化后的协方差
$ ho (X,Y)=fracCov(X,Y)sigma(X)sigma(Y)$
- 余弦相似度：两个向量的相似度，余弦相似度玉相关系数的计算是一样的
$vecX=[(X_1-E[X])...(X_n-E[X])]$
$vecY=[(Y_1-E[Y])...(Y_n-E[Y])]$
$r=fracsum_i=1^n((X_i-E[X])(Y_i-E[Y]))sqrtsum_i=1^n(X_i-E[X])^2sqrtsum_i=1^n(Y_i-E[y])^2$
[机器学习]机器学习数学基础
...据项目巩固所学知识,学习的课程是某硅谷的实时推荐和机器学习项目https://www.bilibili.com/video/BV1R4411N78S?p=1以下是我的学习输出:矩阵专题微积分专题概率与统计总结机器学习数学基础涉及矩阵，微积分和概率 查看详情
机器学习需要的数学总结
...和积分是特定过程特定形式的极限微积分/高等数学。在机器学习中，微积分主要用到了微分部分，作用是求函数的极值，就是很多机器学习库中的求解器（solver）所实现的功能。在机器学习里会用到微积分中的 查看详情
机器学习——数学分析
1、求loga(x)中x=1和斜率为1时，a的值（求极限e）2、导数 查看详情
机器学习数学基础
1.机器学习定义：是人工智能的一个分支。我们使用计算机设计一个系统，使它能够根据提供的训练数据按照一定的方式来学习；随着训练次数的增加，该系统可以在性能上不断的学习和改进；通过参数优化的学习模型，能够用... 查看详情
机器学习笔记机器学习与数学分析
一、什么是机器学习 （一）对于给定的任务T，在合理的性能度量方案P的前提之下，某计算机程序可以自主学习任务T的经验E；随着提供合适、优质、大量的经验E，该程序对于任务T的性能逐步提高。机器学习是人工智能的一... 查看详情
机器学习数学基础-gradientdescent算法（上）
...要了解点数学基础学习大数据分布式计算时多少会涉及到机器学习的算法，所以理解一些机器学习基础，有助于理解大数据分布式计算系统（比如spark）的设计。机器学习中一个常见的就是gradientdescent算法，是线性回归问题的一... 查看详情
华为云技术分享机器学习（02）——学习资料链接
以下是我学习机器学习过程中的部分学习资料，当然除些之外还有更多的文章和视频，实际看了后觉得好多内容都太难，自己目前的数学基础很难理解里面讲解的内容。另外，资料太多反而影响学习效率，很多内容都是重复的，... 查看详情
机器学习：2.机器学习相关数学基础
本周任务：请确保熟悉并理解机器学习数学部分常用相关概念:1.高等数学1）函数2）极限3）导数4）极值和最值5）泰勒级数6）梯度7）梯度下降2.线性代数1）基本概念2）行列式3）矩阵4）最小二乘法5）向量的线性相关性3.概... 查看详情
机器学习数学基础知识备忘
1.特征值分解 2.奇异值分解奇异值的物理意义是什么？ 奇异值分解(SVD)原理详解及推导 奇异值分解(SVD)原理与在降维中的应用 奇异值分解SVD的数学解释3. 查看详情
机器学习中的数学之开宗明义篇
...osunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，科大讯飞比赛第三名，CCF比赛第四名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅... 查看详情
机器学习中的重点数学知识
深度学习中的数学1、数学是基石，编程为工具2、深度学习基本全是优化问题（数学）微积分知识重点：① 导数：导数法则、常见的函数的导数、② 多元函数的导数：求梯度（偏导数）、二阶导数和hess矩阵l 为什么... 查看详情
总结学习机器学习过程中用到的数据学知识
现在机器学习行业持续加温，应届毕业生年薪持续走高，2019年毕业生算法岗年薪40万起，上不封顶，吸引着越来越多的人想往机器学习方向转。但是刚接触到算法时，看到那些数学公式都望而生畏，特别是公式的推导。今天本文... 查看详情
2.机器学习相关数学基础
1.高等数学1）函数2）极限3）导数4）极值和最值5）泰勒级数6）梯度7）梯度下降2.线性代数1）基本概念2）行列式3）矩阵4）最小二乘法5）向量的线性相关性3.概率论1）事件2）排列组合3）概率4）贝叶斯定理5）概率分布6）期望和... 查看详情
机器学习的数学基础(代码片段)
一、概述我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。所以本文就先介绍一下机... 查看详情
机器学习对数学功底的要求到底有多高
豆瓣的话题：研究机器学习需要什么样的数学基础？来自:求真2013-07-1113:44:22我是小硕一枚，研究方向是机器学习。通过阅读一些机器学习的教科书，发现机器学习对于数学基础要求比较高。我想问一下：一般研究机器学习需要... 查看详情
数学之路(机器学习实践指南)-文本挖掘与nlp
defwordfeatures(word):return{"cnword":word}.....classifier=nltk.NaiveBayesClassifier.train(samplewords)#大学所属的类别http://blog.csdn.net/myhasplprintu"----大学所属的类别-----"printclassifier.c 查看详情
数学之路(机器学习实践指南)-文本挖掘与nlp
#条件频率，每个词条在不同分类中出现的频率print"------------------"cfd=nltk.ConditionalFreqDist(samplewords)fdist=cfd[u‘财经‘]forwordinfdist:printwordprint"---------流动性出现次数-----------"printcfd[u‘财经‘][u‘流 查看详情
机器学习需要啥数学基础
我们知道，机器学习涉及到很多的工具，其中最重要的当属数学工具了，因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面... 查看详情