关键词：
一、决策树
1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，
学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型
预测时，对新的数据，利用决策树模型进行分类，
决策树学习通常分为3个步骤：特征选择、决策树的生成和决策树的修剪，
2、特征选择：
特征选择在于选取对训练数据具有分类能力的特征，这样可以提高决策树学习的效率，
选择的准则是信息增益或信息增益比
信息熵：
经验熵：类别/D
二、条件随机场
条件随机场（CRF）是给定一组输入随机变量条件下，另一组随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场，条件随机场可以用于不同的预测问题，下面主要讨论在标注问题的应用
字面理解：随机场，是指随机变量，条件，是指在给定一组输入随机变量作为条件，输出变量的条件概率分布模型
统计学习方法笔记-概述
统计学习方法笔记缘起统计学习方法是李航博士的经典只作，也是很多学习机器学习的同学入门必备的书籍。这本书结合理论和习题，可深可浅的讲述了机器学习算法的原理。之前也读过一遍这本书，现在之所以写《... 查看详情
统计学习方法（李航）
统计学习方法概论：（一），统计学习1，统计学习的特点 2，统计学习的对象 3，统计学习的目的 4，统计学习的方法 （二），监督学习重要概念1，输入空间，特征向量空间，输出空间 （三），统计学习... 查看详情
logisticregression与最大熵模型·最大熵模型
李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression与最大熵模型2最大熵模型最大熵原... 查看详情
统计学习方法李航
链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJnt_g提取码：87vn 链接：https://pan.baidu.com/s/178FaXInAAA7TrvLwoJ 查看详情
统计学习方法-李航第一章
第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情
李航《统计学习方法》ch02
CH02感知机前言章节目录感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式导读感知机是二类分类的线性分类模型... 查看详情
《统计学习方法（李航）》讲义第08章提升方法
提升(boosting)方法是一种常用的统计学习方法,应用广泛且有效.在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能.本章首先介绍提升方法的思路和代表性... 查看详情
李航老师的《统计学习方法》第二章算法的matlab程序
参考了http://blog.sina.com.cn/s/blog_bceeae150102v11v.html#post %感知机学习算法的原始形式，算法2.1参考李航《统计学习方法》书中第二章的算法P29closeallclearallclcX=[3,3;4,3;1,1];Y=[1,1,-1];%训练数据集及标记learnRate=1;%学习率Omega=zeros(1,size(X, 查看详情
每月学习数理统计--《统计学习方法—李航》：感知器
1. 感知器的介绍2.感知器的算法3.感知器的更新规则4.感知器的收敛性5.感知器的局限性 1.感知器的介绍 首先 2.感知器的算法 &nbs... 查看详情
李航统计学习方法--8.提升方法(详细推导)
目录8.1提升方法AdaBoost算法8.1.1提升方法的基本思路8.1.2AdaBoost算法8.2AdaBoost算法的训练误差分析8.3AdaBoost算法的解释8.3.1前向分步算法8.3.2前向分步算法与AdaBoost8.4... 查看详情
《统计学习方法（李航）》讲义第04章朴素贝叶斯
朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求... 查看详情
每月学习数理统计--《统计学习方法—李航》
现在这本书已经看完70%，在看完后我将会将每一章的内容按照自己的理解并结合其他书籍包括<<统计机器学习导论>>[1] ，<<机器学习>>[2]，<<大数据分析>>[3]这三本书总结经典的几大算法... 查看详情
《统计学习方法（李航）》讲义第05章决策树
决策树(decisiontree)是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是... 查看详情
李航统计学习方法(第二版)基本概念：泛化能力
1泛化误差学习方法的泛化能力(generalizationability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质重要的性质。泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有... 查看详情
机器学习笔记二十：拉格朗日函数/对偶
参考:李航<统计学习方法>维基百科:拉格朗日乘子法 查看详情
李航统计学习方法——算法2——k近邻法
一、K近邻算法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，输入实例的特征向量，输出实例的类别，其中类别可取多类二、k近邻模型 2.1 距离度量 ... 查看详情
决策树（统计学习方法（李航））的贷款的例子的实现(代码片段)
以统计学习方法（李航）这本书的例子为基础需要注意的地方：我用的是pycharmpython版本是3.7graphviz是一个软件，在pycharm里面下了还得去官网下下完之后得加入环境变量可能还需要重启电脑缺啥库就安啥库那个数据是我自己设置... 查看详情
李航统计学习方法chapter5决策树
第5章决策树1．分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合，也可以看作是定义在特征空间划分上的类的条件概率分布。2．决策树学习旨在构建一个与训练数... 查看详情