关键词：
提升(boosting) 方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性的提升算法AdaBoost; 然后通过训练误差分析探讨AdaBoost 为什么能够提高学习精度; 并且从前向分步加法模型的最后叙述提升方法更具体的实例一一提升树(boosting角度解释AdaBoost ;tree).AdaBoost 算法是1995 年由Freund 和Schapire 提出的,提升树是2000 年由Friedman 等人提出的.
提升方法Python实战： https://github.com/itmorn/Machine-Learning/tree/master/EnsembleMethods
Python sklearn-ensemble地址： http://scikit-learn.org/stable/modules/ensemble.html
——黎明传数
《统计学习方法（李航）》讲义第04章朴素贝叶斯
朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求... 查看详情
logisticregression与最大熵模型·最大熵模型
李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression与最大熵模型2最大熵模型最大熵原... 查看详情
李航统计学习方法--8.提升方法(详细推导)
目录8.1提升方法AdaBoost算法8.1.1提升方法的基本思路8.1.2AdaBoost算法8.2AdaBoost算法的训练误差分析8.3AdaBoost算法的解释8.3.1前向分步算法8.3.2前向分步算法与AdaBoost8.4... 查看详情
李航统计学习方法chapter6逻辑斯蒂回归
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
李航统计学习方法chapter6最大熵模型
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
李航统计学习方法chapter5决策树
第5章决策树1．分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。2．决策树学习旨在构建一个与训练数... 查看详情
统计学习方法-李航第一章
第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情
李航统计学习方法chapter4朴素贝叶斯法
...道第4章朴素贝叶斯法1．朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)。具体来说，利用训练数据学习P(X∣Y)P(X|Y)P(X∣Y) 查看详情
统计学习方法 李航 提升方法
很好理解，就是将一些基本的性能一般的弱分类器组合起来，来构成一个性能较好的强分类器；这其中如果数据一样的话那不是每次训练出的分类器就都一样了嘛，所以在每次训练后要根据训练结果来改变数据的权重；还有一个... 查看详情
第01章统计学习方法概论
统计学习方法（李航）
统计学习方法概论：（一），统计学习1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念1，输入空间，特征向量空间，输出空间 （三），统计学习... 查看详情
《统计学习方法》李航读书笔记
《统计学习方法》李航读书笔记习题1.1伯努利模型下的极大似然估计与贝叶斯估计。答：伯努利模型：总体信息、样本信息\[P(A|\theta)=\sum_i=1^N\fracI(O_i=1)N\quad^[1]\]贝叶斯估计：总体信息、样本信息、先验信息\[P(A|\theta_Bayes)=\frack+1N... 查看详情
logisticregression与最大熵模型·最大熵模型
李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression与最大熵模型2最大熵模型最大熵原... 查看详情
统计学习方法李航
链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g提取码：87vn 链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJ 查看详情
第1章统计学习方法概论
学习定义：如果一个系统能够通过执行某个过程改进他的性能，这就是学习。统计学习的对象：数据目的：对数据进行预测和分析方法：监督学习、非监督学习、半监督学习、强化学习 统计学习的三要素：方法=模型+策略+算... 查看详情
《统计学习方法》第1章习题
习题1.1统计学习方法的三要素为：模型、策略、算法。模型即需要用函数\\(Y=f_\\theta(X)\\)或者条件概率分布\\(P_\\theta(Y|X)\\)表示。策略即寻找合适的损失函数，表示预测值与真实值之间的误差，进而构建风险函数。风险函数就是... 查看详情
统计学习方法李航学习笔记
一、决策树1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，学习时，利用训练数据，根据损失函数最小化的原则建立... 查看详情
李航老师的《统计学习方法》第二章算法的matlab程序
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post %感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29closeallclearallclcX=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记learnRate=1;%学习率Omega=zeros(1,size(X, 查看详情