关键词：
目录
我的主页：晴天qt01的博客_CSDN博客-数据分析师领域博主
目前进度：第四部分【机器学习算法】
PRISM决策规则算法
如何使用分类树来进行分类预测：
如果我们建立好决策树，那我们要怎么进行分类规则的预测呢。一般有两种方法。
第一章直接法：
测试字段的值，未知的样本数据
根节点要进行字段验证，根节点一直跑到叶节点。到叶节点就会有它的标签。得到结果。
在树上找到一条路径。
第二种，间接法。把分类树转化为分类规则。就去分类规则中去找到可以预测的字段。
案例：
第一种就是按树去逐一运行。
第二种就是有5个叶子，就产生5个条件，满足那条规则，就用那条规则预测。
分类树与分类规则间的关系
你可能会纳闷分类树和分类规则不是同一个东西吗。
其实两种方法有蛮大的差异的。树的限制是比较多。规则是比较自由的，一会我们细说。
另一个案例：
这是一个是否喝饮料的决策树，第一个字段是是否看比赛，第二个字段是主场是否胜利，第三个字段是有没有和朋友出门。有就啤酒，
然后我们就可以产生分类树：
我们发现第一和第三种规则都是喝啤酒。这个时候我们就去观察，字段是哪里有不一致，肯定有不一致，如果一致的话，就是一个规则了。
我们发现主场比赛是否胜利。只要看比赛和朋友出去都会喝啤酒，所以这个条件是假条件。
分类树产生的分类规则是有假的。所以我们要把假条件拿掉。这个对我们判断喝不喝啤酒问题不大，如果是在医疗，凭空给他多一个治疗条件，那就问题大了
所以我们要进行规则合并成一条更精准的规则，变成真正的分类规则。
你可能会纳闷，为什么分类树会产生这种假条件的规则。你会发现如果去掉这个规则。后面的另外两个规则就不能产生。所以分类规则是比较自由的。分类树是很受限制的。
有些人就考虑，能不能直接产生分类规则，而不是先产生分类树再产生分类规则。不用有noise在里面。
虽然它没有收到很大的重视，但是其实很重要的。
PRISM决策规则的产生方式。
PRISM就是一个很出名的直接建立分类规则的方法。会先建立短的分类规则，再建立长的分类规则。它其实是一个简单的覆盖方法。把训练数据覆盖为分类规则的方法
案例：
就现针对C1进行寻找，有哪些字段是属于C1的，第一个字段，身高是短的记录（128）就是只有一个记录1是属于C1
所以它就认为当身高是短的时候，它只有1/3的可能性属于C1
身高是tall，有百分之40的概率属于C1
到目前为止有点像bayes分类法。不过后面就不一样了。
其中有一个当发色是red的时候，C1的概率是百分之百，那么我就放入我的第一个规则，只要头发颜色是red那么就会分入C1
概率的计算方式：比如眼睛颜色是blue的时候，那么它出现C1的次数除以它自身出现的总次数，就是概率。
其实这个就是覆盖全部训练数据的方法，就比如我们red覆盖了第3行记录1，那么这行记录就没了，我们就开始考虑剩下的记录的规则是什么。
直到全部记录都被覆盖，那么就结束。
接下来我们要找其他规则。 把三去掉，和之前一样。我们在求条件下的C1概率
然后我们寻找，预测C1里面概率最大的是，Hair=Blond。再继续往下建立一个新的数据集，也就是左上角的数据集。
里面我们再去统计字段和C1的关系。我们发现当hair=blond的情况下eyes=blue（比height案例多，有2个）得到1,6
得到第2个规则，hair=Blond eyes=blue，则归类到C1
然后我们在把1,6排除掉。再去寻找C2
最后PRISM会得到4个规则
如果我们用ID3来进行分类树，我们会发现第3个规则是假规则。
所以PRISM就不需要多产生条件。可以产生比较少的条件，比较简化的规则。
分类树容易产生不相关的假条件，这里我们是针对算法的可解读性，不是准确率这些的问题来说明PRISM的优点，因为很多时候得到的条件很难解读的话，企业不能使用，而PRISM就可以吧假条件去除。容易找到业务关系。
如果你产生了一个比较好的分类规则，那你就规避掉了解读的问题。避免了很多假条件。
决策树到目前为止，我们就全部讲完了。
下面就到神经网络与深度学习的内容。
机器学习---算法---决策树
.../blog.csdn.net/qq_43208303/article/details/84837412 决策树是一种机器学习的方法。决策树的生成算法有ID3,C4.5和CART等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶... 查看详情
机器学习算法学习02：决策树的学习以及应用决策树解决cora数据集论文分类问题(代码片段)
机器学习算法学习02：决策树的学习以及应用决策树解决Cora数据集论文分类问题文章目录机器学习算法学习02：决策树的学习以及应用决策树解决Cora数据集论文分类问题1.前言2.算法分析2.1算法概述2.2算法优化3.算法代码3.... 查看详情
机器学习决策树
1、决策树简介1.1决策树概述决策树算法是一种基于树形结构的分类算法，它能从给定的无序的训练样本中，提炼出树型的分类模型，树形中包含判断模块和终止模块。它是一种典型的分类算法，首先对数据进行处理，利用归纳... 查看详情
机器学习--决策树分类算法及应用
1.决策树分类算法原理1.1概述决策树（decisiontree）——是一种被广泛使用的分类算法。相比贝叶斯算法，决策树的优势在于构造过程不需要任何领域知识或参数设置在实际应用中，对于探测式的知识发现，决策树更加适用1.2算法... 查看详情
机器学习算法实践：决策树(decisiontree)（转载）
前言 最近打算系统学习下机器学习的基础算法，避免眼高手低，决定把常用的机器学习基础算法都实现一遍以便加深印象。本文为这系列博客的第一篇，关于决策树(DecisionTree)的算法实现，文中我将对决策树种... 查看详情
机器学习算法整理决策树
决策树的训练与测试如何切分特征（选择节点）衡量标准-熵 信息增益决策树构造实例信息增益：表示特征X使得类Y的不确定性减小的程度。（分类后的专一性，希望分类后的结果是同类在一起）Outlook=sunny时，熵值=(-2/5)*log(2/... 查看详情
机器学习算法：决策树算法api
学习目标知道决策树算法api的具体使用classsklearn.tree.DecisionTreeClassifier(criterion=’gini’,max_depth=None,random_state=None)criterion特征选择标准"gini"或者"entropy"，前者代表基尼系数，后者代表信息 查看详情
机器学习实战精读--------决策树
感觉自己像个学走路的孩子，每一步都很吃力和认真！机器根据数据集创建规则，就是机器学习。决策树：从数据集合中提取一系列规则，适用于探索式的知识发现。决策树本质：通过一系列规则对数据进行分类的过程。决策树... 查看详情
ai机器学习-决策树算法-概念和学习过程
1.概念决策树是通过一系列规则对数据进行分类的过程，它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。分类决策树模型是... 查看详情
机器学习算法之决策树
一.简介 决策树的一个重要任务是理解数据中蕴含的知识信息。 决策树优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。 缺点：可能产生过... 查看详情
机器学习——决策树（下）算法实现
Decisiontree在机器学习（5）——决策树（上）原理中介绍了决策树的生成和剪枝原理。介绍了CART,ID3，C4.5等算法的算法流程，其中CART算法可以实现回归和分类，是基于基尼不纯度实现的，这里并未实... 查看详情
机器学习-决策树(decisiontree)算法
学习彭亮《深度学习基础介绍：机器学习》课程[toc]决策树概念决策树是一种用于监督学习的层次模型，由此，局部区域通过少数几步递归分裂决定。决策树是一个类似流程图的树结构：其中每个结点表示在一个... 查看详情
spark机器学习：决策树算法
1.决策树基本知识决策树就是通过一系列规则对数据进行分类的一种算法，可以分为分类树和回归树两类，分类树处理离散变量的，回归树是处理连续变量。样本一般都有很多个特征，有的特征对分类起很大的作用，有的特征对... 查看详情
机器学习算法
分类算法： 决策树： 对每一节点，根据feature进行分类。选择信息增益最大的feature，也就是选择将不确定性降低最多的feature。随机森林：多个决策树的投票机制来改善决策树，假设有m棵决策树，要有m个一... 查看详情
机器学习二——分类算法--决策树decisiontree
机器学习算法评估标准：准确率，速度，强壮性（噪音影响较小），可规模性，可解释性。1、决策树 DecisionTree：决策树是一个类似于流程图的树结构，其中每个内部节点表示在一个属性上的测试，每一个分支代表一个属性... 查看详情
机器学习入门之决策树算法
1、什么是决策树（DecisionTree） 决策树是一个类似于流程图的树结构，其中每一个树节点表示一个属性上的测试，每一个分支代表一个属性的输出，每一个树叶节点代表一个类或者类的分布，树的... 查看详情
机器学习实践之决策树算法学习
...37608890/article/details/78731169）。 本文根据最近学习机器学习书籍网络文章的情况,特将一些学习思路做了归纳整理,详情如下.如有不当之处 查看详情
学习笔记|机器学习决策树
文章目录一、算法原理二、基础知识1.自信息、信息熵与条件熵2.信息增益和增益率3.Gini值和Gini指数三、过拟合与剪枝四、连续值和缺失值处理1.连续值处理2.缺失值处理五、总结通过这篇博客，您将收获如下知识：熟悉决策树相... 查看详情