关键词：

一、统计机器学习的研究内容

网络 算法 机器 优化 概率 统计
数据 矩阵 信息 模型 推理
获知识 靠学习

We are drowning in information and starving for knowledge. -John Naisbitt

Data -> Model -> Knowledge

二、机器学习与应用统计学对比

ML	STATISTICS	备注
Networks	Graphs Models	网络、图/模型
Weights	parameters	权重/参数
learning fitting or estimating	学习/拟合、估计
generalization 泛化 Test set	可信度
superised learning	regression/classification	回归 分类
unsuperised learning	density estimating clustering	聚类

三、Data Science的三个能力

• infrastructure 底层架构

• coding 代码能力

• math (解决问题的能力)

统计机器学习–SML:

A field that bridges computation and statistics, with ties to information theory,
signal processing，algorithm， control theory, and optimization theory。

SML = Matrix +Optimization+Algorithm+statistics

矩阵+优化+算法+统计，本质是一个最优化问题

N个数据 每个数据有P个特征

X = (
X11 X12 … X1P,
X21 X22 … X2P,
…
Xn1, Xn2 … Xnp
)

X1 = (X11 X12 … X1P)

1.降维 X1^P --> X1^Q 由P维降到Q维

线性降维

2. 聚类

3.分类

binary
x1 -> input
x2 -> output

分类问题，数据分三类:
1.训练集
training data

模型+参数
e(y–>f(x,a))+c P(b)

2.validation data

验证数据估c

3. 测试数据(只有输入)

4.regression 回归

y 属于R
回归是一个特殊的分类问题

5.Ranking

四、机器学习的基本方法:

1.频率派
The frequent.st approach views the model params as unknown
constants and estimates them by matching the model to the training data
using an appropritate metric.

（Xi，Yi）
least square estimation 最小二乘估计

i->n (Yi-Xi*a)^2

最大似然估计

高斯分布

2.Bayesiam Approach
y~N(X^T*a,b2)

机器学习之概率统计基础，机器学习学习笔记----07

机器学习之概率统计基础文章目录机器学习之概率统计基础一、条件概率二、贝叶斯公式三、独立性注：本图片来源于《机器学习中的数学》一书一、条件概率在一个情况发生的情况下，另一个情况的概率二、贝叶斯公... 查看详情

模式识别与机器学习——part2机器学习——统计学习基础——regularizedlinearregression

来源：https://www.cnblogs.com/jianxinzhou/p/4083921.html1.TheProblemofOverfitting（1）　　还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上... 查看详情

机器学习数学系列：机器学习与数学基础知识

...一般思路微积分基础：　　泰勒公式，导数与梯度概率与统计基础：　　概率公式、常见分布、常见统计量线性代数基础：　　矩阵乘法的几何意义  这是一张非常著名的图，请仔细挖掘其信息量。以期它在整体上指引我... 查看详情

机器学习之概率统计基础，机器学习学习笔记----08

机器学习之概率统计基础，机器学习学习笔记----08离散型的随机变量对于任意的我们获取的一组随机变量，最关注的是哪些要素呢？来列举一下：第一：随机变量的取值。显然这个是我们首先需要关注的，... 查看详情

统计学习基础(hgl的读书笔记)

统计学习：统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习也成为统计机器人学习[1]。统计学习分类：有监督学习与无监督学习[2]。统计学习三要素：模型、策略与算法... 查看详情

6.机器学习——数据统计

 1.汇总统计2.数据规范化或标准化  查看详情

sparkmllib机器学习(代码片段)

... 局部向量3.2 标记点3.3 局部矩阵3.4 分布式矩阵4. 基础统计4.1 摘要统计4.2 相关统计1. 皮尔森相关系数2. 斯皮尔森秩相关系数4.3 分层抽样4.4 假设校验4.5 随机数生成5.分类和回归5.1 数学公式5.2 线性回归1.简单线性回归2.... 查看详情

sparkmllib机器学习(代码片段)

... 局部向量3.2 标记点3.3 局部矩阵3.4 分布式矩阵4. 基础统计4.1 摘要统计4.2 相关统计1. 皮尔森相关系数2. 斯皮尔森秩相关系数4.3 分层抽样4.4 假设校验4.5 随机数生成5.分类和回归5.1 数学公式5.2 线性回归1.简单线性回归2.... 查看详情

机器学习需要啥数学基础

...到的数学基础内容包括三个方面，分别是线性代数、概率统计和最优化理论。下面小编就会好好给大家介绍一下机器学习中涉及到的数学基础知道，让大家在日常的机器学习中可以更好地运用数学工具。首先我们给大家介绍一下... 查看详情

关于机器学习的充分统计量

关于机器学习的充分统计量     【Reference】1、https://blog.csdn.net/lancelot_vim/article/details/51371651  查看详情

机器学习统计学习

统计学习前言：机器学习比较重要的几部分：线性模型、统计学习、深度学习，线性部分包括SVM、压缩感知、稀疏编码，都是控制整个模型的稀疏性去做线性函数，偏Discriminative判别模型；统计学习主要通过统计方法对数据建模... 查看详情

深度学习基础-机器学习基本原理(代码片段)

...必须在学习算法外手动设定）。机器学习本质上属于应用统计学，其更加强调使用计算机对复杂函数进行统计估计，而较少强调围绕这些函数证明置信区间；因此我们会探讨两种统计学的主要方法:频率派估计和贝叶斯推断。同... 查看详情

统计学深度学习机器学习数据挖掘

            统计学、深度学习、机器学习、数据挖掘1、2、3、数据挖掘：            （1）数据挖掘是在大型数据库中，自动地发现有用信息的过程。用来探查大型数据库，发现先前未知的有用模... 查看详情

sparkmllib的基础统计部分学习

参考学习链接：http://www.itnose.net/detail/6269425.html机器学习相关算法，建议初学者去看看斯坦福的机器学习课程视频：http://open.163.com/special/opencourse/machinelearning.html（已经被翻译了）所有文中示例见：http://spark.apache.org/docs/latest/mllib... 查看详情

统计学习方法--机器学习概论

（本章主要参考李航老师的《统计学习方法》，其次是周志华老师的《机器学习》。通过自己的阅读，提炼出书中的知识点以及些许自己部分的理解(可能不到位)，巩固所学知识。）统计学习方法概论本章简要叙述统计学习方法... 查看详情

[机器学习]机器学习数学基础

...78S?p=1以下是我的学习输出:矩阵专题微积分专题概率与统计总结机器学习数学基础涉及矩阵，微积分和概率 查看详情

机器学习数学

参考：百度PaddlePaddle公开课概率&统计LaryWasserman《AllofStatistics》概率：给定数据生成过程，那么输出的性质是怎样统计：给定输出结果，那么生成数据的过程是怎样统计vs机器学习统计机器学习ModelsParametersFitting,EstimateRegression/... 查看详情

[机器学习spark]sparkmllib实现数据基本统计(代码片段)

👨‍🎓👨‍🎓博主：发量不足📑📑本期更新内容：SparkMLlib基本统计📑📑下篇文章预告：SparkMLlib的分类🔥🔥简介：耐心，自信来源于你强大的思想和知识基础&#x 查看详情