关键词：
第一章 统计学习方法概论
学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习
监督学习：从训练数据集中学习模型，对测试数据进行预测
回归问题：输入变量与输出变量均为连续变量的预测问题
分类问题：输出变量为有限个离散变量的预测问题
标注问题：输入变量与输出变量均为变量序列的预测问题
损失函数：度量预测错误的程度
经验风险：训练数据集的平均损失
期望风险：损失函数的期望值
根据大数定律，当样本容量N趋于无穷时，经验风险趋于期望风险
泛化能力：指由该方法学习到的模型对未知数据的预测能力
过拟合：指学习时选择的模型所包含的参数过多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象
如果训练数据本身存在噪声，拟合曲线对未知数据的预测能力并不好
模型选择时，不仅要考虑对已知数据的预测能力，而且要考虑对未知数据的预测能力
正则化：在经验风险上加一个正则化项或罚项
奥卡姆剃刀原理：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也是应该选择的模型
交叉验证：首先随机地将已知数据切分为S个互不相交的大小相同的子集；然后利用S-1个子集的数据训练模型，利用余下的子集测试数据；
将这一过程对可能的S种选择重复进行，最后选出S次测评中平均测试误差最小的模型。
TP：将正类预测为正类数
FN：将正类预测为负类数
FP：将负类预测为正类数
TN：将负类预测为负类数
精确率：P=TP/(TP+FP)
召回率：R=TP/(TP+FN)
2/F1=1/P + 1/R
伯努利模型：定义在取值为0和1的随机变量上的概率分布。
假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。
统计学习方法详解之第一章统计方法及监督学习概论
文章目录1.前言1.1常见误区1.2解决方法2.统计学习的基本概念2.1统计学习的定义2.2统计学习的重要特点2.2.1常用的数学公式2.3统计学习的对象2.4统计学习的目的3.统计学习的分类3.1统计学习的基本分类3.1.1监督学习3.1.1.1输入空间3.1.... 查看详情
统计学习方法（李航）
统计学习方法概论：（一），统计学习1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念1，输入空间，特征向量空间，输出空间 （三），统计学习... 查看详情
损失函数和分类器评估方法
介绍：以下是李航《统计学习方法的》第一章的部分摘录，只为复习总结用内容：1.损失函数： 扩展：线性回归，LR，svm,boosting的损失函数2.分类器评估方法： 查看详情
《统计学习方法》李航读书笔记
《统计学习方法》李航读书笔记习题1.1伯努利模型下的极大似然估计与贝叶斯估计。答：伯努利模型：总体信息、样本信息\[P(A|\theta)=\sum_i=1^N\fracI(O_i=1)N\quad^[1]\]贝叶斯估计：总体信息、样本信息、先验信息\[P(A|\theta_Bayes)=\frack+1N... 查看详情
统计学习方法李航
链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g提取码：87vn 链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJ 查看详情
《统计学习方法》学习笔记之第一章
统计学习方法的学习笔记：第一章目录第一节统计学习的定义与分类统计学习的概念统计学习的分类 第二节统计学习方法的基本分类监督学习无监督学习强化学习 第三节统计学习方法三要素模型策略第四节模型评估与模型... 查看详情
李航统计学习方法--8.提升方法(详细推导)
目录8.1提升方法AdaBoost算法8.1.1提升方法的基本思路8.1.2AdaBoost算法8.2AdaBoost算法的训练误差分析8.3AdaBoost算法的解释8.3.1前向分步算法8.3.2前向分步算法与AdaBoost8.4... 查看详情
统计学习方法笔记-概述
统计学习方法笔记缘起统计学习方法是李航博士的经典只作，也是很多学习机器学习的同学入门必备的书籍。这本书结合理论和习题，可深可浅的讲述了机器学习算法的原理。之前也读过一遍这本书，现在之所以写《... 查看详情
《统计学习方法（李航）》讲义第08章提升方法
提升(boosting)方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性... 查看详情
李航老师的《统计学习方法》第二章算法的matlab程序
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post %感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29closeallclearallclcX=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记learnRate=1;%学习率Omega=zeros(1,size(X, 查看详情
统计学习方法李航学习笔记
一、决策树1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，学习时，利用训练数据，根据损失函数最小化的原则建立... 查看详情
李航《统计学习方法》ch02
CH02感知机前言章节目录感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式导读感知机是二类分类的线性分类模型... 查看详情
每月学习数理统计--《统计学习方法—李航》：感知器
1. 感知器的介绍2.感知器的算法3.感知器的更新规则4.感知器的收敛性5.感知器的局限性 1.感知器的介绍 首先 2.感知器的算法 &nbs... 查看详情
第一章统计学习及监督学习概论
目录1统计学习1.1背景1.2统计学习分类1.3统计学习方法三要素2泛化能力3生成模型和判别模型4监督学习应用4.1分类问题4.2标注问题4.3回归问题我有一点点机器学习的基础，这一章阅读起来还是比较轻松。1统计学习1.1背景这里首先... 查看详情
李航统计学习方法——算法2——k近邻法
一、K近邻算法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入实例的特征向量，输出实例的类别，其中类别可取多类二、k近邻模型 2.1 距离度量 ... 查看详情
决策树（统计学习方法（李航））的贷款的例子的实现(代码片段)
以统计学习方法（李航）这本书的例子为基础需要注意的地方：我用的是pycharmpython版本是3.7graphviz是一个软件，在pycharm里面下了还得去官网下下完之后得加入环境变量可能还需要重启电脑缺啥库就安啥库那个数据是我自己设置... 查看详情
《统计学习方法（李航）》讲义第05章决策树
决策树(decisiontree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是... 查看详情
《统计学习方法（李航）》讲义第04章朴素贝叶斯
朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求... 查看详情