关键词：
1.1 统计学习
统计学习是关于计算机基于数据构建概率模型并用模型对数据进行分析与预测的一门学科。统计学习也成为统计机器学习。
（1）统计学的主要特点：
1、统计学习以计算机及网络为平台，是建立在计算机及网络之上的
2、统计学习以数据为研究对象，是数据驱动的科学。
3、统计学习的目的是对数据进行预测与分析。
4、统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。
5、统计学习是概率论、统计学、信息论、计算机理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中形成独自的理论体系与方法。
学习：如果一个系统能通过执行某一个过程改进它的性能，就是学习。
（2）统计学习的对象：
统计学习的对象是数据。从数据触发，提取数据的特征，抽象出数据的模型，发现数据中的知识，最后回到对数据的分析与预测中。
统计学习关于数据的基本假设是同类数据具有一定的统计规律，同类数据指的是某种共同性质的数据。
（3）统计学习的目的：
统计学习通过构建概率统计模型实现对数据的预测与分析。
统计学习总的目标就是考虑学习生么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能的提高学习效率。
（4）统计学习方法：
统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。
分类： 监督学习、非监督学习、半监督学习、强化学习
统计学习在监督学习的情况下可以概括为：
从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；并且假设学习的模型属于某个函数的集合，称为假设空间；应用某个评测标准，从假设空间中选取最优的模型，使它对已知的训练数据及未知测试数据在给定的评价准则下都有很好的预测，最优模型的选择由算法实现。
统计学习的方法步骤:
1、得到一个有限的训练数据集合。
2、确定包含所有可能的模型的假设空间，即学习模型的集合。
3、确定模型的选择准则，即学习策略。
4、实现求解最优模型的算法，即学习算法。
5、通过学习方法选择最优模型。
6、利用学习的最优模型对新数据进行预测与分析。
（5）统计学习的研究
统计学习研究包括统计学习方法、统计学习理论、统计学习应用。
（6）统计学习的重要性
应用领域：人工智能、模式识别、数据挖掘、自然语言处理、图像识别、语音识别、信息检索和生物信息等计算机领域中。
统计学习科学在科学技术中的重要性：
1、统计学习是处理海量数据的有效方法。
2、统计学习是计算机智能化的有效手段。
3、统计学习是计算机科学发展的一个重要组成部分。
1.2 监督学习
监督学习的任务就是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做一个很好的预测。
（1）基本概念
输入空间：输入所有可能取值的集合称为输入空间。
输出空间：输出所有可能取值的集合成为输出空间。
特征空间：所有特征向量存在的空间。
回归问题：输入与输出均为连续变得的预测问题。
分类问题：输出变量为有限个离散变的预测问题。
标注问题：输入变量与输出变量均为变量序列的预测问题。
联合概率分布：监督学习假设输入与输出的随机变量遵循联合概率分布P（X|Y）。
假设空间：模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。
（2）问题的形式化
监督学习利用训练数据集学习一个模型，再用模型对测试数据进行预测。在这个过程中需要用到训练集，训练集通常是人工标注的所以称为监督学习。
1.3 统计学习三要素
统计学习三要素：模型、策略和算法。
方法 = 模型 + 策略 + 算法。
模型：
在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布和决策函数集合。
策略：
统计学习的目标是从假设空间中选取最优模型
损失函数：度量模型一次预测的好坏。
风险函数：度量模型平均意义下模型预测的好坏。
统计学习常用的损失函数：
（1）、0-1损失函数
L（Y，f(X)） = 1, Y ≠ f (X) ; 0 Y = f(x)
(2) 、平方损失函数
L（Y，f(x)）= (Y - f(X))2
（3）、绝对损失函数
L（Y，f(X)）= | Y - f(X)|
(4)、对数损失函数或对数似然函数
L（Y，f(X)）= -logP(Y|X)
损失函数的期望：
Rexp(f) = Ep[L(Y, f(x))] = ∫x*y L(y, f(x))P(x, y)dxdy
期望风险Rexp(f)是模型关于联合概率分布的期望损失。
经验风险Remp(f)是模型关于训练样本集的平均损失。
根据大数定理，当样本容量N趋于无穷时，经验风险Rexp(f)趋于期望风险 Remp(f)。在样本足够多的情况下用经验风险估计期望风险。由于实际中训练样本有限，用经验风险估计期望风险并不理想，需要对经验风险进行矫正。
算法：
算法指的是学习模型的具体算法。
统计学习基于训练数据集，根据学习策略，从假设空间选取最优模型，最后考虑用什么样的计算方法求解最优模型。
1.4 模型的评估与模型的选择
（1）训练误差与测试误差：
假设学习到的模型是Y = f(X),训练误差是模型Y= f(x)的关于训练数据集的平均损失：
Remp (f) = 1⁄N ∑Ni=1 L(yi, f(xi))
N：样本容量
测试误差是Y = f(X)关于测试数据集的平均损失：
etest= 1⁄N ∑Ni=1 L(yi, f(xi))
(2) 过拟合与模型选择
过拟合：是指学习时选择的模型包含的参数过多，以至于出现这一模型对已知数据预测得很好，但对未知数据预测能力很差的现象。
模型的选择：旨在避免过拟合并提高模型的预测能力。
1.5 正则化与交叉验证
正则化：
模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项越大。
交叉验证：
（1）简单交叉验证：
随机的将已给数据集分为两部分，一部分作为训练集，另一部分作为测试集。
（2）S折交叉验证：
随机的将已给数据集切分为S个互补相交的大小相同的子集，让后用S-1个子集数据训练模型，利用余下的子集测试模型。将这一过程对可能的S种选择重复进行，最后选出S此评测中平均测试误差最小的模型。
（3）留一交叉验证：
S折交叉验证的特殊情况S=N，称为留一交叉验证。
1.6 泛化能力
（1）泛化误差
泛化误差就是学习到的模型的期望风险。
泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上的重要性质。
（2）泛化误差上界
学习方法的泛化能力分析往往是通过研究泛化误差的概率上界进行的，简称繁华误差上界。
泛化误差上界的性质：
它是样本容量的函数，当样本容量增加时，泛化上界趋于0。它是假设空间容量的函数，假设空间容量越大，模型就越难学，泛化误差上界就越大。
1.7 生成模型与判别模型
生成方法：由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测模型，
即：生成模型
P（Y|X）= P(X,Y)/P(X)
注：这样的方法之所以成为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。
典型模型：朴素贝叶斯法、隐马尔科夫模型。
判别方法：由数据直接学习决策函数f(X)或条件概率分布P(Y|X)作为预测的模型。
典型方法：K紧邻算法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场。
生成方法的特点：生成方法可以还原出联合概率分布P(X,Y)，而判别方法则不能；生成方法的学习收敛速度快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型；当存在隐变量时，仍可以用生成方法学习，此时判别方法就不能用。
判别方法的特点：判别方法直接学习的是条件概率分布P(Y|X)或决策函数f(X),直接面对预测，往往学习的准确率更高；由于直接学习P(Y|X)或f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
1.8 分类问题
在监督学习中，当输入变量Y取有限个离散值时,预测问题变成分类问题。输入变量可以是离散的也可以是连续的。
分类问题常用的评价指标：精确率和召回率
TP = 将正类预测为正类的数。
FN = 将正类预测为负类的数。
FP = 将负类预测为正类的数。
TN = 将负类预测为负类的数。
精确率 ： P = TP / (TP + FP)
召回率： R = TP / (TP + FN)
F1值是精确率和召回率的调和均值：
1/ F1 = 1/P +1/R
F1 = 2TP / ( 2TP + FP +FN)
1.9 标注问题
标注也是一个监督学习问题。可以认为标注问题是分类问题的一个推广，标准问题是更复杂的结构预测问题的简单形式。标注问题的输入是一个观测序列，输出是一个标注序列或状态序列。标注问题的目的在于学习一个模型，使他能够对观测序列给出标记序列作为预测。
注:可能标记的个数是有限的，但其组合所成的标记序列的个数是依序列长度呈指数级增长。
1.10 回归问题
回归属于监督学习，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量发生变化时，输出变量的值随之发生变化。回归模型正是表示从输入变量到输出变量之间的映射的函数。回归问题等价于函数拟合：选择一条函数曲线使其很好的拟合已知数据且很好的预测未知数据
统计学习方法笔记——统计学习方法概论
1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计... 查看详情
统计学习方法详解之第一章统计方法及监督学习概论
文章目录1.前言1.1常见误区1.2解决方法2.统计学习的基本概念2.1统计学习的定义2.2统计学习的重要特点2.2.1常用的数学公式2.3统计学习的对象2.4统计学习的目的3.统计学习的分类3.1统计学习的基本分类3.1.1监督学习3.1.1.1输入空间3.1.... 查看详情
1.统计学习方法概论
...设空间。假设空间的确定意味着学习范围的确定。5.统计学习方法的三要素：方法=模型+策略+算法。模型 查看详情
第1章统计学习方法概论
学习定义：如果一个系统能够通过执行某个过程改进他的性能，这就是学习。统计学习的对象：数据目的：对数据进行预测和分析方法：监督学习、非监督学习、半监督学习、强化学习 统计学习的三要素：方法=模型+策略+算... 查看详情
统计学习方法概论
...p; 4、统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。 5、统计学习是概率论、统计学、信息论、计算机理论、最优化理论及计... 查看详情
1.统计学习方法概论
1.统计学习统计学习的对象：（1）data：计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（特别是未知数据）... 查看详情
第一章统计学习及监督学习概论
目录1统计学习1.1背景1.2统计学习分类1.3统计学习方法三要素2泛化能力3生成模型和判别模型4监督学习应用4.1分类问题4.2标注问题4.3回归问题我有一点点机器学习的基础，这一章阅读起来还是比较轻松。1统计学习1.1背景这里首先... 查看详情
第一章：统计学习及监督学习概论
目录统计学习基本分类按模型分类按算法分类按技巧分类三要素模型策略算法生成模型和判别模型生成方法判别方法应用习题统计学习对象:data目的:预测和分析方法监督，无监督，强化学习基本分类监督学习从标注数据中学习预... 查看详情
统计学习方法（李航）
统计学习方法概论：（一），统计学习1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念1，输入空间，特征向量空间，输出空间 （三），统计学习... 查看详情
概论论与数理统计严继高版第六章习题答案（含过程）
第八题在下一页 查看详情
统计学习方法-李航第一章
第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情
机器学习概论
机器学习--机器学习概论机器学习概论分类、回归机器学习流程特征工程模型训练数据来源数据预处理数据无量纲化。缺失值处理模型训练模型调参模型保存模型评估常用的库数据可视化机器学习概论通过对历史数据的一个学习&... 查看详情
通俗易懂的图解机器学习之机器学习概论
❤️通俗易懂的图解机器学习❤️之机器学习概论（这个是连载的哦…）文章目录❤️通俗易懂的图解机器学习❤️之机器学习概论一、什么是机器学习1、学习的种类1.1、监督学习1.2、无监督学习1.3、强化学习2、机器学... 查看详情
通俗易懂的图解机器学习之机器学习概论
❤️通俗易懂的图解机器学习❤️之机器学习概论（这个是连载的哦…）文章目录❤️通俗易懂的图解机器学习❤️之机器学习概论一、什么是机器学习1、学习的种类1.1、监督学习1.2、无监督学习1.3、强化学习2、机器学... 查看详情
深度学习——概论学习笔记
1.什么是神经网络例1：房屋价格预测房屋大小（输入x）->函数（神经元）->房屋价格（输出y）例2：房屋价格预测（多神经元）输入 隐藏单元 输出size->family pricebedroomswalkability zipcodeschoolquality wea... 查看详情
python深度学习之路-1机器学习概论
【Python深度学习之路】-1机器学习概论1.1机器学习简介机器学习火热的原因是：人类无论如何也做不到在短时间内实现从大量数据中自动地计算出正确结果的操作。所谓机器学习：通过对数据进行反复的学习，来找出... 查看详情
无监督学习概论
....1聚类2.2降维2.3概率生成模型3.无监督学习三要素4.无监督学习方法4.1聚类4.2降维4.3话题分析4.4图分析0.写在前面的话 2021年是自监督学习，尤其是对比学习爆发的一年。不管是CV(simCLR、MoCo)还是NLP(simCSE、simBERT)都涌现出了很多... 查看详情
sparkmllib机器学习概论
一.什么是机器学习？ 什么是机器学习？HerbertSinmon给“学习”做出了这样的定义：“如果一个系统能够通过执行某个过程而改进性能，这就是学习。”更通俗的理解是：机器学习能够自动地从数据中学习“程... 查看详情