正文 

当前位置： 首页 > 知识 > java教程

第一章统计学习及监督学习概论

clearhanhui clearhanhui     2023-03-16     168

关键词：

目录

我有一点点机器学习的基础，这一章阅读起来还是比较轻松。

1 统计学习

1.1 背景

这里首先要介绍一下贝叶斯派和频率派。举个栗子：一个病毒检测试剂，如果受检者为阳性，误检率为1%，如果受检者为阴性，误检率为2%；若人群中某个人的检测结果为阳性，则此人携带病毒的概率是多少。概率派观点是，此人极有可能使病毒携带者；从贝叶斯的角度来看，我们还需要知道另外一个参数，即人群中携带病毒的概率（先验概率）。
极大似然估计是频率派的主要观点，核心思想是对于待估参数( heta)，寻找(hat heta)使得(X=x)发生的概率最大

[L( heta|x)=f(x| heta)=f(x_1,x_2...x_n| heta)=prod_i=1^n f(x_i| heta) ]

[hat heta=argmax_ heta L( heta|x) ]

最大后验估计是贝叶斯派的主要观点，它简化了贝叶斯估计

[hat heta=argmax_ heta pi ( heta|x) = argmax_ heta frac f(x| heta) pi( heta) m(x) = argmax_ heta f(x| heta) pi( heta) = argmax_ hetalog[f(x| heta)] + log[pi( heta)] ]

贝叶斯估计与极大似然估计在思想上有很大的不同,代表着统计学中频率学派和贝叶斯学派对统计的不同认识。其实，可以简单地把两者联系起来，假设先验分布是均匀分布，取后验概率最大，就能从贝叶斯估计得到极大似然估计。

1.2 统计学习分类

  • 基本分类：监督式学习，无监督式学习，强化学习，半监督学习，主动学习。
  • 模型分类：概率模型和非概率模型、线性模型和非线性模型、参数模型和非参数模型
    • 概率模型：决策树、朴素贝叶斯、隐马尔科夫模型；非概率模型：感知机、SVM、KNN、K-means
    • 参数模型假设模型的参数固定，或模型的参数是有限的；非常参数模型是模型参数的不固定，随着训练改变。参数模型：K-means、感知机、朴素贝叶斯；非参数模型：SVM、KNN、决策树
  • 算法分类：在线学习、批量学习
  • 技巧分类：贝叶斯学习、核技巧

1.3 统计学习方法三要素

统计学习方法 = 模型 + 策略 + 算法

  • 模型：在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。（不是很懂）
  • 策略：损失函数和风险函数、经验风险最小和结构风险最小
    • 损失函数：0-1损失函数，平方损失函数，绝对值损失函数，对数损失函数
    • 风险：期望风险是模型关于联合分布的期望损失；经验风险是模型关于训练样本集的平均损失
    • 经验风险最小化：类似极大似然估计的思想，但是容易过拟合
    • 结构风险最小化：带有正则化项的模型，可以参照最大后验概率估计。下式(J(f))代表模型的复杂度

[R_srm (f) = frac 1 N sum_i=1^N L(y_i, f(x_i)) + lambda J(f) ]

  • 算法：算法是模型的具体计算方法。最优化问题无解析解时，需要通过数值计算方法求解

模型的选择和评估、过拟合和模型选择、正则化和交叉验证，这几个章节没什么重要内容，主要理解过拟合产生的机制、表现和应对办法（增加惩罚项）即可

2 泛化能力

学习方法的泛化能力指的是由该方法得到的模型处理未知数据的能力。

  • 泛化误差：反应学习方法的泛化能力，其值越小，该方法就更有效

[R_exp(hatf) = E_p[L(Y,hatf(X))] = int_X×Y L(y,hatf(x)) P(x,y)dxdy ]

其中(hatf)代表学习到的模型。泛化误差就是模型的期望风险。

  • 泛化误差上界：

学习方法的泛化能力分析往往是通过研究泛化误差的概率.上界进行的，简称为泛化误差上界(generalization error bound)。具体来说，就是通过比较两种学习方法的泛化误差上界的大小来比较它们的优劣。泛化误差上界通常具有以下性质:它是样本容量的函数，当样本容量增加时，泛化上界趋于0;它是假设空间容量(capacity) 的函数,假设空间容量越大，模型就越难学,泛化误差上界就越大。

定理：对于二分类问题，当假设空间是有限个函数的集合(F=f_1,f_2,...,f_d)时，对于一个任意函数(f in F),至少以概率(1-delta)(其中(0<delta<1))，以下不等式成立：

[R(f)<=hatR(f)+epsilon(d,N,delta) ]

其中，(R)是期望风险,(hatR)是经验风险,(N)是样本容量

[epsilon(d,N,delta)=sqrtfrac12N(log d+log frac1delta) ]

3 生成模型和判别模型

生成模型：表示了给定的输入(X)产生输出(Y)的生成关系。朴素贝叶斯、隐马尔科夫模型等。

[P(Y|X)=fracP(X,Y)P(X) ]

判别模型：表示给定输入X产生输出Y的值。KNN，感知机，逻辑回归等。

4 监督学习应用

4.1 分类问题

当输出变量Y的取值为有限个离散值时，预测问题变为分类问题。

  • 二分类的评价指标
    TP将正类预测为正类数；
    FN将正类预测为负类数；
    FP将负类预测为正类数；
    TN将负类预测为负类数。
    • 精确率：

    [P=fracTPTP+FP ]

    • 召回率:

    [P=fracTPTP+FN ]

    • (F_1)值：精准率和召回率的调和均值

    [frac2F_1=frac1P+frac1R ]

4.2 标注问题

标注问题也是一种监督学习的问题，可以认为是分类问题的推广，其目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。隐马尔科夫模型、条件随机场等。

4.3 回归问题

连续值的预测，典型案例：波士顿房价

简单写一下感受：

  • 这篇文章的内容基本都是《统计学习方法》的上介绍的，我当作学习笔记用，所以详略安排的很不合理；
  • 对于贝叶斯派和概率派的观点理解并不全面，不敢深入介绍，更多内容和MAP与MLE的关系可以参考 这里；
  • 公式编写还不够熟练，且没有边写边看的功能，很耽误功夫，也怪自己做不到笔下是语法，心中格式化，以后准备先用vs code写，再复制到博客园；

第一章统计学习及监督学习概论

目录1统计学习1.1背景1.2统计学习分类1.3统计学习方法三要素2泛化能力3生成模型和判别模型4监督学习应用4.1分类问题4.2标注问题4.3回归问题我有一点点机器学习的基础，这一章阅读起来还是比较轻松。1统计学习1.1背景这里首先... 查看详情

统计学习方法-李航第一章

第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情

《统计学习方法》学习笔记之第一章

统计学习方法的学习笔记：第一章目录第一节统计学习的定义与分类统计学习的概念统计学习的分类 第二节统计学习方法的基本分类监督学习无监督学习强化学习 第三节统计学习方法三要素模型策略第四节模型评估与模型... 查看详情

1.统计学习方法概论

1.统计学习统计学习的对象：（1）data：计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（特别是未知数据）... 查看详情

统计学习方法--机器学习概论

（本章主要参考李航老师的《统计学习方法》，其次是周志华老师的《机器学习》。通过自己的阅读，提炼出书中的知识点以及些许自己部分的理解(可能不到位)，巩固所学知识。）统计学习方法概论本章简要叙述统计学习方法... 查看详情

第1章统计学习方法概论

...系统能够通过执行某个过程改进他的性能，这就是学习。统计学习的对象：数据目的：对数据进行预测和分析方法：监督学习、非监督学习、半监督学习、强化学习 统计学习的三要素：方法=模型+策略+算法输入变量和输出变... 查看详情

数据库系统概论学习笔记-第一章绪论

数据库系统概论-第一章绪论写在前面：寒假来临，除却走亲戚和同学聚餐，王者荣耀等游戏上分花销一点时间之外，自认为要花一点时间学习数据库和Android，以此来为下学期和共建项目打下一丢丢的基础。为了鞭策自己，定了... 查看详情

构建之法学习（第一章概论）

...原本的空洞、乏味，反而更多的是趣味性。　　通过对于第一章的自我学习，总结了一些知识点：　　1.软件=程序+软件工程　　　程序=数据结构+算法　　  程序，就是指的源程序，是可执行代码。软件构建，构建成机器... 查看详情

andrewng机器学习第一章——初识机器学习

机器学习的定义　　计算机程序从经验E中学习，解决某一任务T、进行某一性能度量P，通过P测定在T上的表现因E而提高。　　简而言之：程序通过多次执行之后获得学习经验，利用这些经验可以使得程序的输出结果更为理想，就... 查看详情

无监督学习概论

文章目录0.写在前面的话1.无监督学习基本原理2.基本问题2.1聚类2.2降维2.3概率生成模型3.无监督学习三要素4.无监督学习方法4.1聚类4.2降维4.3话题分析4.4图分析0.写在前面的话  2021年是自监督学习，尤其是对比学习爆发的一年... 查看详情

统计学习方法概论

1.1 统计学习   统计学习是关于计算机基于数据构建概率模型并用模型对数据进行分析与预测的一门学科。统计学习也成为统计机器学习。  （1）统计学的主要特点：         ... 查看详情

andrewng机器学习第一章——单变量线性回归

监督学习算法工作流程　　　　h代表假设函数，h是一个引导x得到y的函数　　如何表示h函数是监督学习的关键问题　　线性回归：h函数是一个线性函数 代价函数　　在线性回归问题中，常常需要解决最小化问题。代价函数... 查看详情

统计学习方法（李航）

统计学习方法概论：（一），统计学习1，统计学习的特点　　2，统计学习的对象　　3，统计学习的目的　　4，统计学习的方法　　（二），监督学习重要概念1，输入空间，特征向量空间，输出空间　　 （三），统计学习... 查看详情

机器学习基础概论(代码片段)

本文将是一篇长文，是关于机器学习相关内容的一个总体叙述，会总结之前三个例子中的一些关键问题，读完此文将对机器学习有一个更加深刻和全面的认识，那么让我们开始吧。我们前面三篇文章分别介绍了二分类问题、多分... 查看详情

机器学习基础概论(代码片段)

本文将是一篇长文，是关于机器学习相关内容的一个总体叙述，会总结之前三个例子中的一些关键问题，读完此文将对机器学习有一个更加深刻和全面的认识，那么让我们开始吧。我们前面三篇文章分别介绍了二分类问题、多分... 查看详情

python深度学习之路-1机器学习概论

【Python深度学习之路】-1机器学习概论1.1机器学习简介机器学习火热的原因是：人类无论如何也做不到在短时间内实现从大量数据中自动地计算出正确结果的操作。所谓机器学习：通过对数据进行反复的学习，来找出... 查看详情

python深度学习之路-1机器学习概论

【Python深度学习之路】-1机器学习概论1.1机器学习简介机器学习火热的原因是：人类无论如何也做不到在短时间内实现从大量数据中自动地计算出正确结果的操作。所谓机器学习：通过对数据进行反复的学习，来找出... 查看详情

统计学习方法笔记——统计学习方法概论

1.统计学习     统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计... 查看详情