关键词：
1 简介
逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法。
最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model )。
逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。
2 模型
2.1 逻辑斯谛分布
2.2 逻辑斯谛回归模型
2.2.1 二项逻辑斯谛回归模型
2.2.2 二项逻辑斯谛回归模型变型
2.2.3 对数似然函数逻辑斯谛回归模型
2.3 多项逻辑斯谛回归
3 学习策略
3.1 对数似然估计
4 算法
4.1 改进的迭代尺度法
4.2 拟牛顿法
统计学习方法 李航 逻辑斯谛回归与最大熵模型
介绍了分布函数和概率密度，函数特点．这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数．https://blog.csdn.net/hfutxiaoguozhi/article/details/78843932这篇博客对此解释非常好．既然已经有了... 查看详情
李航统计学习方法chapter6最大熵模型
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
统计学习六：1.对数线性模型之逻辑回归
全文引用自《统计学习方法》（李航）本节介绍的对数线性模型，主要包括逻辑斯谛回归(logisticregression)模型以及最大熵模型(maximumentropymodel)。逻辑斯谛回归模型是统计学中十分经典的分类方法，而最大熵是概率学习中的一个准... 查看详情
《统计学习方法》--逻辑斯谛回归模型(代码片段)
《统计学习方法》第六章–逻辑斯谛回归模型逻辑斯谛回归概述逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。... 查看详情
逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
0.概述：Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，logistic回归模型与最大熵模型都是对数线性模型。本文第一部分主要讲什么是logistic（逻辑斯谛）回... 查看详情
《统计学习方法》--逻辑斯谛回归模型(代码片段)
《统计学习方法》第六章–逻辑斯谛回归模型逻辑斯谛回归概述逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。... 查看详情
李航统计学习方法(第二版)：决策树cart算法
1简介1.1介绍 1.2生成步骤CART树算法由以下两步组成:(1)决策树生成:基于训练数据集生成决策树，生成的决策树要尽量大;(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树，这时用损失函数址小作为剪... 查看详情
李航统计学习方法(第二版)基本概念：泛化能力
1泛化误差学习方法的泛化能力(generalizationability)是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质重要的性质。泛化误差反映了学习方法的泛化能力，如果一种方法学习的模型比另一种方法学习的模型具有... 查看详情
逻辑斯谛回归，softmax回归与最大熵模型
逻辑斯谛回归(logisticregression)是统计学习中的经典分类方法最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(MaximumEntropyModel)逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广... 查看详情
李航统计学习方法(第二版)基本概念：正则化与交叉验证
正则化与交叉验证用于模型选择1 正则化正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或罚项(penaltyiterm)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如... 查看详情
李航统计学习方法(第二版)基本概念：统计学习方法三要素
1.简介统计学习方法都是由模型、策略和算法构成的2.模型在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。2.1决策函数模型 2.2 ... 查看详情
李航统计学习方法(第二版)（十四）：线性支持向量机与软间隔最大化
1简介线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，因为这时上述方法中的不等式约束并不能都成立。怎么才能将它扩展到线性不可分问题呢?这就需要修改硬间隔最大化，使其成为软间隔最大化。2模... 查看详情
《统计学习方法》李航读书笔记
《统计学习方法》李航读书笔记习题1.1伯努利模型下的极大似然估计与贝叶斯估计。答：伯努利模型：总体信息、样本信息\[P(A|\theta)=\sum_i=1^N\fracI(O_i=1)N\quad^[1]\]贝叶斯估计：总体信息、样本信息、先验信息\[P(A|\theta_Bayes)=\frack+1N... 查看详情
李航统计学习方法(第二版)：决策树简介
1简介决策树模型是树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习... 查看详情
李航统计学习方法(第二版)：k近邻算法简介
1简介k近邻法的输入为实例的特征向量，对应于特征空间的点;输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决... 查看详情
逻辑斯谛回归
逻辑斯谛分布设X是连续随机变量,X服从逻辑斯谛分布是指X服从如下分布函数和密度函数: 其中，为位置参数，>0为形状参数。密度函数f（x）和分布函数F（x）的图形如图所示： 分布函数属于逻辑斯谛函数，其图形是一... 查看详情
李航统计学习方法(第二版)（十三）：线性可分支持向量机与硬间隔最大化
1简介支持向量机(supportvectormachines>SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机;支持向量机还包括核技巧，这使它成为实质卜的非线性分类器。支持向量机... 查看详情
logisticregression
参考资料：1.李航《统计学习方法》；2.https://blog.csdn.net/laobai1015/article/details/78113214基础：1.知道分类问题和回归问题的区别； 一、逻辑斯蒂回归的基本概念1.逻辑斯蒂回归是一种分类算法，最常用的二项逻辑斯蒂回归只适用... 查看详情