关键词:
集成学习算法
1. 集成学习算法简介
学习目标
- 了解什么是集成学习
- 知道机器学习中的两个核心任务
- 了解集成学习中的boosting和bagging
1.1 什么是集成学习
集成学习通过建立几个模型来解决单一预测问题。它的工作原理是生成多个分类器/模型,各自独立地学习和作出预测。这些预测最后结合成组合预测,因此优于任何一个单分类的做出预测。
1.2 复习:机器学习的两个核心任务
- 任务一:如何优化训练数据 —> 主要用于解决欠拟合问题
- 任务二:如何提升泛化性能 —> 主要用于解决过拟合问题
1.3 集成学习中boosting和Bagging
只要单分类器的表现不太差,集成学习的结果总是要好于单分类器的
1.4 小结
- 什么是集成学习
- 通过建立几个模型来解决单一预测问题
- 机器学习两个核心任务
- 1.解决欠拟合问题
- 弱弱组合变强
- boosting
- 2.解决过拟合问题
- 互相遏制变壮
- Bagging
- 1.解决欠拟合问题
2. Bagging和随机森林
学习目标
- 知道Bagging集成原理
- 知道随机森林构造过程
- 知道RandomForestClassifier的使用
- 了解baggind集成的优点
2.1 Bagging集成原理
目标:把下面的圈和方块进行分类
实现过程:
1.采样不同数据集
2.训练分类器
3.平权投票,获取最终结果
4.主要实现过程小结
2.2 随机森林构造过程
在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
随机森林 = Bagging + 决策树
例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个树的结果是False, 那么最终投票结果就是True
随机森林够造过程中的关键步骤(M表示特征数目):
1)一次随机选出一个样本,有放回的抽样,重复N次(有可能出现重复的样本)
2) 随机去选出m个特征, m <<M,建立决策树
思考
- 1.为什么要随机抽样训练集?
- 如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的
- 2.为什么要有放回地抽样?
- 如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是绝对“片面的”(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。
2.3 随机森林api介绍
- sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’, max_depth=None, bootstrap=True, random_state=None, min_samples_split=2)
- n_estimators:integer,optional(default = 10)森林里的树木数量120,200,300,500,800,1200
- Criterion:string,可选(default =“gini”)分割特征的测量方法
- max_depth:integer或None,可选(默认=无)树的最大深度 5,8,15,25,30
- max_features="auto”,每个决策树的最大特征数量
- If “auto”, then max_features=sqrt(n_features).
- If “sqrt”, then max_features=sqrt(n_features)(same as “auto”).
- If “log2”, then max_features=log2(n_features).
- If None, then max_features=n_features.
- bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样
- min_samples_split:节点划分最少样本数
- min_samples_leaf:叶子节点的最小样本数
- 超参数:n_estimator, max_depth, min_samples_split,min_samples_leaf
2.4 随机森林预测案例
1. 实例化随机森林
# 随机森林去进行预测
rf = RandomForestClassifier()
2. 定义超参数的选择列表
param = "n_estimators": [120,200,300,500,800,1200], "max_depth": [5, 8, 15, 25, 30]
3. 使用GridSearchCV进行网格搜索
# 超参数调优
gc = GridSearchCV(rf, param_grid=param, cv=2)
gc.fit(x_train, y_train)
print("随机森林预测的准确率为:", gc.score(x_test, y_test))
注意
- 随机森林的建立过程
- 树的深度、树的个数等需要进行超参数调优
2.5 bagging集成优点
Bagging + 决策树/线性回归/逻辑回归/深度学习… = bagging集成学习方法
经过上面方式组成的集成学习方法:
-
均可在原有算法上提高约2%左右的泛化正确率
-
简单, 方便, 通用
2.6 小结
- bagging集成过程
- 1.采样 — 从所有样本里面,采样一部分
- 2.学习 — 训练弱学习器
- 3.集成 — 使用平权投票
- 随机森林介绍
- 随机森林定义
- 随机森林 = Bagging + 决策树
- 流程:
- 1.随机选取m条数据
- 2.随机选取k个特征
- 3.训练决策树
- 4.重复1-3
- 5.对上面的若决策树进行平权投票
- 注意:
- 1.随机选取样本,且是有放回的抽取
- 2.选取特征的时候吗,选择m<<M
- M是所有的特征数
- api
sklearn.ensemble.RandomForestClassifier()
- 随机森林定义
- Bagging + 决策树/线性回归/逻辑回归/深度学习… = bagging集成学习方法
- bagging的优点
- 1.均可在原有算法上提高约2%左右的泛化正确率
- 2.简单, 方便, 通用
3. 包外估计 (Out-of-Bag Estimate)
在随机森林构造过程中,如果进行有放回的抽样,我们会发现,总是有⼀部分样本我们选不到。
- 这部分数据,占整体数据的比重有多大呢?
- 这部分数据有什么用呢?
3.1 包外估计的定义
随机森林的 Bagging 过程,对于每⼀颗训练出的决策树 g ,与数据集 D 有如下关系:
对于星号的部分,即是没有选择到的数据,称之为 Out-of-bag(OOB)数据,当数据⾜够多,对于任意⼀组数据 (x , y ) 是包外数据的概率为:
由于基分类器是构建在训练样本的⾃助抽样集上的,只有约 63.2% 原样本集出现在中,⽽剩余的 36.8% 的数据作为包 外数据,可以⽤于基分类器的验证集。
经验证,包外估计是对集成分类器泛化误差的无偏估计. 在随机森林算法中数据集属性的重要性、分类器集强度和分类器间相关性计算都依赖于袋外数据。
3.2 包外估计的用途
- 当基学习器是决策树时,可使⽤包外样本来辅助剪枝 ,或用于估计决策树中各结点的后验概率以辅助对零训练样本结点的处理;
- 当基学习器是神经网络时,可使用包外样本来辅助早期停止以减小过拟合 。
4. otto案例介绍
otto案例介绍 – Otto Group Product Classification Challenge
请参考:【机器学习】otto案例介绍
5. Boosting
学习目标
- 知道boosting集成原理和实现过程
- 知道bagging和boosting集成的区别
- 知道AdaBoost集成原理
5.1 什么是boosting
随着学习的积累从弱到强
简而言之:每新加入一个弱学习器,整体能力就会得到提升
代表算法:Adaboost,GBDT,XGBoost,LightGBM
5.2 实现过程
1.训练第⼀个学习器
2.调整数据分布
3.训练第二个学习器
4.再次调整数据分布
5.依次训练学习器,调整数据分布
6.整体过程实现
5.3 bagging集成与boosting集成的区别
- 区别⼀:数据方面
- Bagging:对数据进行采样训练;
- Boosting:根据前⼀轮学习结果调整数据的重要性。
- 区别二:投票方面
- Bagging:所有学习器平权投票;
- Boosting:对学习器进行加权投票。
- 区别三:学习顺序
- Bagging的学习是并行的,每个学习器没有依赖关系;
- Boosting学习是串行,学习有先后顺序。
- 区别四:主要作用
- Bagging主要用于提高泛化性能(解决过拟合,也可以说降低方差)
- Boosting主要用于提高训练精度 (解决欠拟合,也可以说降低偏差)
6. AdaBoost介绍
6.1 构造过程细节
- 步骤⼀:初始化训练数据权重相等,训练第⼀个学习器。
该假设每个训练样本在基分类器的学习中作⽤相同,这⼀假设可以保证第⼀步能够在原始数据上学习基 本分类器H (x)
- 步骤二:AdaBoost反复学习基本分类器,在每⼀轮m = 1, 2, …, M顺次的执行下列操作:
- 步骤三:对m个学习器进行加权投票
6.2 关键点剖析
如何确认投票权重?
如何调整数据分布?
6.3 案例
给定下面这张训练数据表所示的数据,假设弱分类器由xv产⽣,其阈值v使该分类器在训练数据集上的分类误差率最低,试用Adaboost算法学习⼀个强分类器。
问题解答:
- 步骤一:初始化训练数据权重相等,训练第⼀个学习器:
- 步骤二:AdaBoost反复学习基本分类器,在每⼀轮m = 1, 2, …, M顺次的执行下列操作:
当m=1的时候:
(a)在权值分布为D1的训练数据上,阈值v取2.5时分类误差率最低,故基本分类器为:
6,7,8被分错
当m=3的时候:
(a)在权值分布为D 的训练数据上,阈值v取5.5时分类误差率最低,故基本分类器为:
6.4 api介绍
from sklearn.ensemble import AdaBoostClassifier
api链接:https://scikitlearn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html#sklearn.ensemble.AdaBoost Classifier
6.5 小结
-
什么是Boosting
- 随着学习的积累从弱到强
- 代表算法:Adaboost,GBDT,XGBoost,LightGBM
-
bagging和boosting的区别
-
区别⼀:数据方面
- Bagging:对数据进⾏采样训练;
- Boosting:根据前⼀轮学习结果调整数据的重要性。
-
区别⼆:投票方面
- Bagging:所有学习器平权投票;
- Boosting:对学习器进⾏加权投票。
-
区别三:学习顺序
- Bagging的学习是并行的,每个学习器没有依赖关系;
- Boosting学习是串行的,学习有先后顺序。
-
区别四:主要作用
- Bagging主要用于提高泛化性能(解决过拟合,也可以说降低⽅差)
- Boosting主要⽤于提高训练精度 (解决欠拟合,也可以说降低偏差)
-
AdaBoost构造过程
- 步骤⼀:初始化训练数据权重相等,训练第⼀个学习器;
- 步骤⼆:AdaBoost反复学习基本分类器;
- 步骤三:对m个学习器进行加权投票
7. GBDT介绍
梯度提升决策树(GBDT Gradient Boosting Decision Tree) 是一种迭代的决策树算法,该算法由多棵决策树组成,所有树的结论累加起来做最终答案。它在被提出之初就被认为是泛化能力(generalization)较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起大家关注。
GBDT = 梯度下降 + Boosting + 决策树
GBDT 的全称是 Gradient Boosting Decision Tree,梯度提升树,在传统机器学习算法中,GBDT算的上TOP3的算法。 想要理解GBDT的真正意义,那就必须理解GBDT中的Gradient Boosting 和Decision Tree分别是什么?
7.1 Decision Tree:CART回归树
7.1.1 回归树生成算法
7.1.2 Gradient Boosting: 拟合负梯度
提升树算法:
7.1.3 梯度的概念
7.2 GBDT算法原理
上面两节分别将Decision Tree和Gradient Boosting介绍完了,下面将这两部分组合在⼀起就是我们的GBDT了。
GBDT算法:
7.3 GBDT执行流程
如果上式中的hi(x)=决策树模型,则上式就变为:
GBDT = 梯度下降 + Boosting + 决策树
7.4 案例
预测编号5的身高:
第一步:计算损失函数,并求出第一个预测值:
第二步:求解划分点
得出:年龄21为划分点的方差=0.01+0.0025=0.0125
第三步:通过调整后目标值,求解得出h1(x)
第四步:求解h2(x)
得出结果:
编号5身高 = 1.475 + 0.03 + 0.275 = 1.78
7.5 GBDT主要执行思想
1.使用梯度下降法优化代价函数;
2.使用一层决策树作为弱学习器,负梯度作为目标值;
3.利用boosting思想进行集成。
8. XGBoost
9. 什么是泰勒展开式
泰勒展开越多,计算结果越精确
小结
- boosting集成原理
- 随着学习的积累从弱到强
- 实现过程
- 1.初始化训练数据权重,初始权重是相等的
- 2.通过这个学习器,计算错误率
- 3.计算这个学习器的投票权重
- 4.对每个样本进行重新赋权
- 5.重复前面1-4
- 6.对构建后的最后的学习器进加权投票
- bagging集成与boosting集成的区别:
- 数据方面:
- bagging:重新采样
- boosting:对数据进行权重调整
- 投票方面:
- bagging:平权
- boosting:加权
- 学习顺序方面:
- bagging:并行
- boosting:串行
- 主要作用:
- bagging:过拟合
- boosting:欠拟合
- 数据方面:
- 梯度提升决策树(GBDT Gradient Boosting Decision Tree)
- GBDT = 梯度下降 + Boosting + 决策树
- XGBoost
- XGBoost= 二阶泰勒展开+boosting+决策树+正则化
史诗级干货长文聚类算法(代码片段)
ClusteringAlgorithm1.聚类算法简介1.1认识聚类算法1.1.1聚类算法在现实中的应用1.1.2聚类算法的概念1.1.3聚类算法与分类算法最大的区别1.2小结2.聚类算法api初步使用2.1api介绍2.2案例2.2.1流程分析2.2.2代码实现2.3小结3.聚类算法实现流程4... 查看详情
史诗级干货长文k-近邻算法(代码片段)
K-近邻算法前言1.K-近邻算法简介1.1什么是K-近邻算法1.2K-近邻算法(KNN)概念1.3电影类型分析1.4KNN算法流程总结2.KNN算法API初步使用2.1Scikit-learn工具介绍2.1.1安装Scikit-learn2.1.2Scikit-learn包含的内容2.2K-近邻算法API2.3案例2.3.1步骤分析2.3.2... 查看详情
史诗级干货长文线性回归算法(代码片段)
线性回归算法前言1.线性回归简介1.1线性回归应用场景1.2什么是线性回归1.2.1定义与公式1.2.2线性回归的特征与目标的关系分析2.线性回归API初步使用2.1线性回归API2.2举例2.2.1步骤分析2.2.2代码过程3.数学:求导3.1常见函数的导数3.2导... 查看详情
史诗级干货长文支持向量机(代码片段)
支持向量机SVM1.SVM算法简介1.1SVM算法导入1.2SVM算法定义1.2.1定义1.2.2超平面最大间隔介绍1.2.3硬间隔和软间隔1.2.3.1硬间隔分类1.2.3.2软间隔分类1.3小结2.SVM算法API初步使用3.SVM算法原理3.1定义输入数据3.2线性可分支持向量机3.3SVM的计... 查看详情
史诗级干货长文决策树算法(代码片段)
决策树算法1.决策树算法简介2.决策树分类原理3.cart剪枝3.1为什么要剪枝?3.2常用的减枝方法3.2.1预剪枝3.2.2后剪枝3.3小结4.特征工程-特征提取5.决策树算法API6.案例:泰坦尼克号乘客生存预测7.回归决策树1.决策树算法简介决策... 查看详情
史诗级干货长文朴素贝叶斯(代码片段)
朴素贝叶斯学习目标1.朴素贝叶斯算法简介2.概率基础复习2.1概率定义2.2案例:判断女神对你的喜欢情况2.3联合概率、条件概率与相互独立2.4贝叶斯公式2.4.1公式介绍2.4.2案例计算2.4.3文章分类计算2.5小结3.案例:商品评论... 查看详情
史诗级干货长文hmm模型(代码片段)
HMM模型1.马尔科夫链1.1简介1.2经典举例1.3小结2.HMM简介2.1简单案例2.2案例进阶2.2.1问题阐述2.2.2问题解决2.2.2.1一个简单问题【对应问题2】2.2.2.2看见不可见的,破解骰子序列【对应问题1】2.2.2.3谁动了我的骰子?【对应问题3... 查看详情
nlp电商评论处理-史诗级长文(代码片段)
#autherbioamin#nlpof电商评论#-*-conding=utf-8-*-importnumpyasnpimportpandasaspd#画图的包importmatplotlib.pyplotaspltimportseabornassnsplt.rcParams[‘font.sans-serif‘]=[‘SimHei‘]plt.rcParams[‘axes.unicode_minus 查看详情
361机器学习常见算法
...tNeighbors)参考:机器学习实战教程(一):K-近邻算法(史诗级干货长文)决策树算法(DecisionTree)参考:机器学习实战教程(二):决策树基础篇之让我们从相亲说起参考:机器学习实战教程(三):决策树实战篇之为自己配... 查看详情
干货总结!kafka面试大全(万字长文,37张图,28个知识点)(代码片段)
关注并标星 Kafka面试的连环问题,保证你看完后,对Kafka有了更深层次的了解。全文总结的题目之间的关联性很强,本文将通过问答+图解的形式由浅入深帮助大家进一步学习和理解Kafka分布式流式处理平台。全文总计负责保... 查看详情
史诗级选手之函数(代码片段)
函数上来就抛一个例子先赏赏眼>>>>>>>packagemainimport"fmt"funcadd(xint,yint)intreturnx+yfuncmain()fmt.Println(add(42,13))函数定义语法funcfunc_name(arg1type1,arg2type2)return_typefunctio 查看详情
机器学习集成学习算法(代码片段)
目录1集成学习算法简介1.1什么是集成学习1.2机器学习的两个核心任务1.3集成学习中boosting和Bagging1.4小结2Bagging和随机森林2.1Bagging集成原理2.2随机森林构造过程2.3包外估计2.3.1包外估计的定义2.3.2包外估计的用途2.4随机森林api介绍2... 查看详情
springboot❤springclould常用注解史诗级汇总(代码片段)
什么是注解?Java注解是附加在代码中的一些元信息,用于一些工具在编译、运行时进行解析和使用,起到说明、配置的功能注解本质上继承Annotation接口,我们可以通过反射获取注解的相关信息,从而做些逻辑操作springboot里... 查看详情
ffmpeg史诗级教学-学习笔记
教程网址千魅太子哥https://www.bilibili.com/video/BV1bT4y1w78z?p=2&spm_id_from=pageDriverFFMPEGffmpeg解析音频、视频数据的,对其渲染的视频文件解码流程图 查看详情
机器学习:集成学习(baggingpasting)(代码片段)
一、集成学习算法的问题思路:集成多个算法,让不同的算法对同一组数据进行分析,得到结果,最终投票决定各个算法公认的最好的结果;弊端:虽然有很多机器学习的算法,但是从投票的角度看,仍然不够多;如果想要有效... 查看详情
微信“史诗级”更新,小而美终于回来啦!(代码片段)
...,版本号也来到了8.0.30。此次更新又被业界称之为“史诗级”更新,主要原因是新版本微信安装包体 查看详情
微信又变天,“史诗级”更新!网友“怕”了……(代码片段)
...完成PC端的登录。对此,网友表示,该功能属于“史诗级”更新,有网友调侃“别让我媳妇看到这个功能”ÿ 查看详情
集成学习-bagging和boosting算法(代码片段)
文章目录集成学习Bagging随机森林BostingAdaboostGBDTXGBoost集成学习集成学习(ensemblelearning)博采众家之长,通过构建并结合多个学习器来完成学习任务。“三个臭皮匠顶个诸葛亮”,一个学习器(分类器、回归器&... 查看详情