关键词：
0机器学习中分类和预测算法的评估：
- 准确率
- 速度
- 健壮性
- 可规模性
- 可解释性
1决策树（判定树）的概念
决策树是一个类似于流程图的树结构（可以是二叉树或多叉树）：其中，每个内部结点表示在一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类或类分布。树的最顶层是根结点。机器学习中分类方法中的一个重要算法。
2.熵（entropy）概念
信息和抽象如何度量？1948年，香农提出“信息熵”的概念。
一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常非常不确定的事情，或者是我们一无所知的事情，需要了解大量的信息==>信息量的度量就等于
3.决策树的归纳算法（ID3）
3.1选择属性判断结点
3.2信息获取量：Gain（A）=Info（D）-Info_A（D）
基本步骤：
- 树以代表训练样本的单个结点开始（步骤1）。
- 如果样本都在同一个类，则该结点成为树叶，并用该类标号（步骤2 和3）。
- 否则，算法使用称为信息增益的基于熵的度量作为启发信息，选择能够最好地将样本分类的属性（步骤6）。该属性成为该结点的“测试”或“判定”属性（步骤7）。在算法的该版本中，
- 所有的属性都是分类的，即离散值。连续属性必须离散化。
- 对测试属性的每个已知的值，创建一个分枝，并据此划分样本（步骤8-10）。
- 算法使用同样的过程，递归地形成每个划分上的样本判定树。一旦一个属性出现在一个结点上，就不必该结点的任何后代上考虑它（步骤13）。
- 递归划分步骤仅当下列条件之一成立停止：
- (a) 给定结点的所有样本属于同一类（步骤2 和3）。
- (b) 没有剩余属性可以用来进一步划分样本（步骤4）。在此情况下，使用多数表决（步骤5）。
- 这涉及将给定的结点转换成树叶，并用样本中的多数所在的类标记它。替换地，可以存放结
- 点样本的类分布。
- (c) 分枝
- test_attribute = a i 没有样本（步骤11）。在这种情况下，以 samples 中的多数类
- 创建一个树叶（步骤12）
《python机器学习及实践》----无监督学习之特征降维
本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：#coding:utf-8importnumpyasnpM=np.array([[1,... 查看详情
[机器学习][k-means]无监督学习之k均值聚类
有监督学习虽然高效、应用范围广，但最大的问题就是需要大量的有标签的数据集，但现实生活中我们遇到的大量数据都是没有明确标签的，而且对于庞大的数据集进行标注工作本身也是一项费时费力的工作模式，所以我们希望... 查看详情
2.监督学习之分类
1.1监督学习机器学习的第一种范式是监督学习（Supervisedlearning），学习的目标是根据输入预测输出的函数。例如，输入是患者的检查数据，输出是疾病的诊断结果；输入是动物图片，输出是它们的名称&... 查看详情
machinelearn机器学习及其基础概念简介
机器学习及其基础概念简介作者：白宁超2016年12月23日21:24:51摘要：随着机器学习和深度学习的热潮，各种图书层出不穷。然而多数是基础理论知识介绍，缺乏实现的深入理解。本系列文章是作者结合视频学习和书籍基础的笔记... 查看详情
《python机器学习及实践》----无监督学习之特征降维
本片博客是根据《Python机器学习及实践》一书中的实例，所有代码均在本地编译通过。数据为从该书指定的百度网盘上下载的，或者是sklearn自带数据下载到本地使用的。代码片段：#coding:utf-8importnumpyasnpM=np.array([[1,... 查看详情
无监督学习之rbm和autoencoder
几种学习方式半监督学习TransferLearningSelf-talkLearningRBMRBM的类别BoltzmannMachineRestrictedBoltzmannMachineEvaluationInferenceTraining网络结构训练过程概率分布计算与GibbsSampling对比散度ContrastiveDivergence泛化实例AutoEncoder特点实例有标签的数据 查看详情
无监督学习之rbm和autoencoder(代码片段)
几种学习方式半监督学习TransferLearningSelf-talkLearningRBMRBM的类别BoltzmannMachineRestrictedBoltzmannMachineEvaluationInferenceTraining网络结构训练过程概率分布计算与GibbsSampling对比散度ContrastiveDivergence泛化实例AutoEncoder特点实例有标签的数据 查看详情
机器学习之决策树学习
决策树是一个函数，以属性值向量作为输入，返回一个“决策”。如上图，我们输入一系列属性值（天气状况，湿度，有无风）后会得到一个要不要出去玩的一个决策。从样例构建决策树对于原始样例集，我们选取一个最好的属... 查看详情
无监督学习之聚类2——dbscan
根据学生月上网时间数据运用DBSCAN算法计算：#coding=utf-8importnumpyasnpimportsklearn.clusterasskcfromsklearnimportmetricsimportmatplotlib.pyplotaspltmac2id=dict()onlinetimes=[]f=open(‘F:dataTestData.txt‘,encoding=‘utf 查看详情
machinelearning:机器学习算法
...https://riboseyim.github.io/2018/02/10/Machine-Learning-Algorithms/摘要机器学习算法分类：监督学习、半监督学习、无监督学习、强化学习基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林... 查看详情
机器学习之决策树
...使用不熟悉的数据集合，并从中提取一系列规则，在这些机器根据数据集创建规则是，就是机器学习的过程。 在构造决策树时，第一个需要解决的问题就是， 查看详情
无监督学习之聚类1——kmeans
Kmeans算法分析31省市消费水平#coding=utf-8importnumpyasnpfromsklearn.clusterimportKMeansdefloadData(filepath):fr=open(filepath,‘r+‘)lines=fr.readlines()retData=[]retCityName=[]forlineinlines:items=line.strip().s 查看详情
机器学习之决策树
一、基本流程决策树是一类常见的机器学习方法，其是基于树结构来进行决策的，这恰是人类在面临决策问题时很自然的一种处理机制。例如我们要对“这是好瓜吗？”这样的问题进行决策时，通常会进行一系列的判断或者“子... 查看详情
机器学习笔记-决策树
决策树(DecisionTree)决策树学习，建立一颗树结构的模型。此模型由一系列逻辑决策构成。在此结构中决策点代表某个属性上的决策，分支表示决策选择项，树的叶子节点是一系列联合决策的结论。决策树通过分而治之（Divideandconq... 查看详情
机器学习3—决策树学习笔记
机器学习实战第三章决策树#计算给定数据集的熵#导入log运算符frommathimportlogdefcalcShannonEnt(dataSet):#获取数据集的行数numEntries=len(dataSet)#设置字典的数据结构labelCounts={}#提取数据集的每一行的特征向量forfeatVecindataSet:#获取特征... 查看详情
机器学习之决策树与随机森林模型
...帮助初学者真正地理解相关知识。决策树引言决策树，是机器学习中一种非常常见的分类方法，也可以说是所有算法中最直观也最好理解的算法。先举个最简单的例子：A：你去不去吃饭？B：你去我就去。“你去我就去”，这是... 查看详情
学习笔记|机器学习决策树
文章目录一、算法原理二、基础知识1.自信息、信息熵与条件熵2.信息增益和增益率3.Gini值和Gini指数三、过拟合与剪枝四、连续值和缺失值处理1.连续值处理2.缺失值处理五、总结通过这篇博客，您将收获如下知识：熟悉决策树相... 查看详情
学习笔记|机器学习决策树
文章目录一、算法原理二、基础知识1.自信息、信息熵与条件熵2.信息增益和增益率3.Gini值和Gini指数三、过拟合与剪枝四、连续值和缺失值处理1.连续值处理2.缺失值处理五、总结通过这篇博客，您将收获如下知识：熟悉决策树相... 查看详情