关键词：
统计学习方法概论：
（一），统计学习
1，统计学习的特点
2，统计学习的对象
3，统计学习的目的
4，统计学习的方法（重点：模型的集合，策略（模型的选择），算法（模型的实现调优））
（二），监督学习重要概念
1，输入空间，特征向量空间，输出空间，预测问题分为（回归问题（输出为连续即可），分类问题，标注问题）
（三），统计学习三要素
1，模型
决策函数模型：
条件概率模型：
2，策略
2.1 损失函数：
2.2 经验风险最小化和结构最小化
如贝叶斯估计的最大后验概率就是一种结构风险最小化的一个例子，通过使用先验概率作为发现（复杂的模型先验概率大）
3，算法
（四）模型评估选择
1，训练误差和测试误差
2，过拟合
过拟合和欠拟合产生的原因及解决方式：
4，正则化：L1和L2范式
5，交叉验证：训练集，验证集，测试集
6，泛化误差，泛化误差上界
7，生成模型（朴素贝叶斯）和判别模型（决策树，支持向量机）
8，分类模型
9，标注问题
统计学习方法李航
链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g提取码：87vn 链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJ 查看详情
统计学习方法-李航第一章
第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情
李航统计学习方法--8.提升方法(详细推导)
目录8.1提升方法AdaBoost算法8.1.1提升方法的基本思路8.1.2AdaBoost算法8.2AdaBoost算法的训练误差分析8.3AdaBoost算法的解释8.3.1前向分步算法8.3.2前向分步算法与AdaBoost8.4... 查看详情
《统计学习方法（李航）》讲义第08章提升方法
提升(boosting)方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性... 查看详情
李航老师的《统计学习方法》第二章算法的matlab程序
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post %感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29closeallclearallclcX=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记learnRate=1;%学习率Omega=zeros(1,size(X, 查看详情
统计学习方法李航学习笔记
一、决策树1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，学习时，利用训练数据，根据损失函数最小化的原则建立... 查看详情
李航《统计学习方法》ch02
CH02感知机前言章节目录感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式导读感知机是二类分类的线性分类模型... 查看详情
每月学习数理统计--《统计学习方法—李航》：感知器
1. 感知器的介绍2.感知器的算法3.感知器的更新规则4.感知器的收敛性5.感知器的局限性 1.感知器的介绍 首先 2.感知器的算法 &nbs... 查看详情
李航统计学习方法——算法2——k近邻法
一、K近邻算法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入实例的特征向量，输出实例的类别，其中类别可取多类二、k近邻模型 2.1 距离度量 ... 查看详情
决策树（统计学习方法（李航））的贷款的例子的实现(代码片段)
以统计学习方法（李航）这本书的例子为基础需要注意的地方：我用的是pycharmpython版本是3.7graphviz是一个软件，在pycharm里面下了还得去官网下下完之后得加入环境变量可能还需要重启电脑缺啥库就安啥库那个数据是我自己设置... 查看详情
《统计学习方法（李航）》讲义第05章决策树
决策树(decisiontree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是... 查看详情
《统计学习方法（李航）》讲义第04章朴素贝叶斯
朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求... 查看详情
每月学习数理统计--《统计学习方法—李航》
现在这本书已经看完70%，在看完后我将会将每一章的内容按照自己的理解并结合其他书籍包括<<统计机器学习导论>>[1] ，<<机器学习>>[2]，<<大数据分析>>[3]这三本书总结经典的几大算法... 查看详情
李航统计学习方法chapter6逻辑斯蒂回归
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
李航统计学习方法chapter6最大熵模型
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
李航统计学习方法chapter5决策树
第5章决策树1．分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。2．决策树学习旨在构建一个与训练数... 查看详情
李航统计学习方法(第二版)基本概念：泛化能力
1泛化误差学习方法的泛化能力(generalizationability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质重要的性质。泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有... 查看详情
李航统计学习方法chapter4朴素贝叶斯法
...道第4章朴素贝叶斯法1．朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)。具体来说，利用训练数据学习P(X∣Y)P(X|Y)P(X∣Y) 查看详情