关键词：

文章目录

• 一、算法原理
• 二、基础知识
• • 1. 自信息、信息熵与条件熵
  • 2. 信息增益和增益率
  • 3. Gini 值和 Gini 指数
• 三、过拟合与剪枝
• 四、连续值和缺失值处理
• • 1. 连续值处理
  • 2. 缺失值处理
• 五、总结

通过这篇博客，您将收获如下知识：

• 熟悉决策树相关的基础知识：自信息、信息熵与条件熵，信息增益和增益率，Gini 值和 Gini 指数。
• 熟悉决策树算法的关键原理，模型、策略与优化算法。
• 了解决策树中过拟合问题和剪枝处理，以及 sklearn 中决策树模型中剪枝相关的参数说明。
• 了解决策树连续值和缺失值的处理思路
• 了解决策树算法的优缺点

---

一、算法原理

决策树（Decision Tree） 是一种重要的有监督的机器学习方法。决策树有时候是指学习方法，有时是指学得的树，核心是为了模拟人类决策过程。以二分类任务为例，我们希望从给定训练数据集学得一个模型

学习笔记|机器学习决策树

文章目录一、算法原理二、基础知识1.自信息、信息熵与条件熵2.信息增益和增益率3.Gini值和Gini指数三、过拟合与剪枝四、连续值和缺失值处理1.连续值处理2.缺失值处理五、总结通过这篇博客，您将收获如下知识：熟悉决策树相... 查看详情

学习笔记|机器学习决策树

文章目录一、算法原理二、基础知识1.自信息、信息熵与条件熵2.信息增益和增益率3.Gini值和Gini指数三、过拟合与剪枝四、连续值和缺失值处理1.连续值处理2.缺失值处理五、总结通过这篇博客，您将收获如下知识：熟悉决策树相... 查看详情

机器学习笔记-监督学习之决策树

0机器学习中分类和预测算法的评估：准确率速度健壮性可规模性可解释性1决策树（判定树）的概念　　决策树是一个类似于流程图的树结构（可以是二叉树或多叉树）：其中，每个内部结点表示在一个属性上的测试，每个分支... 查看详情

机器学习实战笔记--决策树

tree.py代码1#encoding:utf-82frommathimportlog3importoperator4importtreePlotterastp567defcreateDataSet():#简单测试数据创建8dataSet=[[1,1,‘yes‘],9[1,1,‘yes‘],10[1,0,‘no‘],11[0,1,‘no‘],12[0,1,‘no‘]]13labels=[‘nosu 查看详情

《机器学习》（周志华）第4章决策树笔记理论及实现——“西瓜树”

参考书籍：《机器学习》（周志华）说   明：本篇内容为读书笔记，主要参考教材为《机器学习》（周志华）。详细内容请参阅书籍——第4章决策树。部分内容参考网络资源，在此感谢所有原创者的工作。======... 查看详情

《机器学习》（周志华）第4章决策树笔记理论及实现——“西瓜树”——cart决策树

CART决策树（一）《机器学习》（周志华）第4章决策树笔记理论及实现——“西瓜树”参照上一篇ID3算法实现的决策树（点击上面链接直达），进一步实现CART决策树。其实只需要改动很小的一部分就可以了，把原先计算信息熵和... 查看详情

机器学习实战笔记-决策树

图3-1所示的流程图就是一个决策树，正方形代表判断模块(decisionblock),椭圆形代表终止模块(terminatingblock)，表示已经得出结论，可以终止运行。从判断模块引出的左右箭头称作分支（branch)，它可以到达另一个判断模块或者终止模... 查看详情

详解决策树-剪枝十分钟机器学习系列笔记

 决策树生成算法递归地产生决策树，直到不等你继续下去为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，模型结构过于复杂，即出现过拟合现象直接来看优秀的决策树一般要求... 查看详情

机器学习笔记(代码片段)

机器学习笔记（四）文章目录机器学习笔记（四）线性判别分析多分类学习类别不平衡问题小总结决策树决策树的基本概念决策树的构造ID3算法C4.5算法CART算法线性判别分析线性判别分析（LinearDiscriminantAnalysis&... 查看详情

机器学习笔记(代码片段)

机器学习笔记（四）文章目录机器学习笔记（四）线性判别分析多分类学习类别不平衡问题小总结决策树决策树的基本概念决策树的构造ID3算法C4.5算法CART算法线性判别分析线性判别分析（LinearDiscriminantAnalysis&... 查看详情

机器学习笔记(代码片段)

机器学习笔记（四）文章目录机器学习笔记（四）线性判别分析多分类学习类别不平衡问题小总结决策树决策树的基本概念决策树的构造ID3算法C4.5算法CART算法线性判别分析线性判别分析（LinearDiscriminantAnalysis&... 查看详情

机器学习笔记(代码片段)

机器学习笔记（四）文章目录机器学习笔记（四）线性判别分析多分类学习类别不平衡问题小总结决策树决策树的基本概念决策树的构造ID3算法C4.5算法CART算法线性判别分析线性判别分析（LinearDiscriminantAnalysis&... 查看详情

机器学习笔记之三cart分类与回归树

本文结构：CART算法有两步回归树的生成分类树的生成剪枝CART－ClassificationandRegressionTrees分类与回归树，是二叉树，可以用于分类，也可以用于回归问题，最先由Breiman等提出。分类树的输出是样本的类别，回归树的输出是一个实... 查看详情

机器学习--diy笔记与感悟--②决策树(代码片段)

在完成了K临近之后，今天我们开始下一个算法--->决策树算法。 一、决策树基础知识如果突然问你"有一个陌生人叫X,Ta今天需要带伞吗?",你一定会觉得这个问题就像告诉你"两千米外有一个超市,问超市里面有多少卷卫生纸"... 查看详情

机器学习-决策树和随机森林

...据结构。决策树示意图：决策树最重要的知识点：决策树学习采用的是自顶向下的递归方法，其基本思想是以信 查看详情

郑捷《机器学习算法原理与编程实践》学习笔记（第三章决策树的发展）_scikit-learn与回归树

　　（上接第三章）　　　3.4Scikit-Learn与回归树　　3.4.1回归算法原理　　在预测中，CART使用最小剩余方差（squaredResidualsMinimization）来判断回归时的最优划分，这个准则期望划分之后的子树与样本点的误差方差最小。这样决策... 查看详情

机器学习算法之决策树（上）

信息熵决策树决策树优化剪枝决策树可视化决策树直观理解比特化(Bits) 查看详情

机器学习笔记之四adaboost算法

本文结构：什么是集成学习？为什么集成的效果就会好于单个学习器？如何生成个体学习器？什么是Boosting?Adaboost算法？什么是集成学习集成学习就是将多个弱的学习器结合起来组成一个强的学习器。这就涉及到，先产生一组&lsq... 查看详情