第6章 逻辑斯蒂回归和最大熵模型

逻辑斯谛回归(LR)是经典的分类方法

1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。

$$P(Y=k|x)=\frac{\exp \left(w_k\cdot x\right)}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)},k=1,2,\cdots ,K-1$$

$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}\exp \left(w_k\cdot x\right)}$$

这里，$x$为输入特征，$w$为特征的权值。

逻辑斯谛回归模型源自逻辑斯谛分布，其分布函数$F(x)$是$S$形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。

2．最大熵模型是由以下条件概率分布表示的分类模型。最大熵模型也可以用于二类或多类分类。
$$P_w(y|x)=\frac{1}{Z_w(x)}\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

$$Z_w(x)=\sum _y\exp \left(\sum _{i=1}^n{w}_i{f}_i(x,y)\right)$$

其中，$Z_w(x)$是规范化因子，$f_i$为特征函数，$w_i$为特征的权值。

3．最大熵模型可以由最大熵原理推导得出。最大熵原理是概率模型学习或估计的一个准则。最大熵原理认为在所有可能的概率模型（分布）的集合中，熵最大的模型是最好的模型。

最大熵原理应用到分类模型的学习中，有以下约束最优化问题：

$$\min -H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\log P(y|x)$$

$$s.t.P\left(f_i\right)-\tilde{P}\left(f_i\right)=0,i=1,2,\cdots ,n$$

$$\sum _{y}P(y|x)=1$$
求解此最优化问题的对偶问题得到最大熵模型。

4．逻辑斯谛回归模型与最大熵模型都属于对数线性模型。

5．逻辑斯谛回归模型及最大熵模型学习一般采用极大似然估计，或正则化的极大似然估计。逻辑斯谛回归模型及最大熵模型学习可以形式化为无约束最优化问题。求解该最优化问题的算法有改进的迭代尺度法、梯度下降法、拟牛顿法。

---

• 逻辑斯蒂回归（logistic regression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，推广到分类问题得到最大熵模型(maxium entropy model)
• 都属于对数线性模型

逻辑斯蒂模型

• 二项逻辑斯谛回归模型是一种分类模型，由条件概率分布P(Y|X)表示，形式为参数化的逻辑斯谛分布。

• 分类问题，可以表示成one-hot的形式，而one-hot可以认为是一种确定概率的表达。而最大熵模型，是一种不确定的概率表达，其中这个概率，是一个条件概率，是构建的特征函数生成的概率

逻辑斯谛分布

• $X$是连续随机变量，$X$服从逻辑斯谛分布，具有以下分布函数和密度函数

$$\begin{gathered} F(x)=P(X⩽x)=\frac{1}{1+\exp (-(x-\mu )/\gamma )} \\ f(x)=F^{\prime }(x)=\frac{\exp (-(x-\mu )/\gamma )}{\gamma (1+\exp (-(x-\mu )/\gamma ){)}^2} \end{gathered}$$

• 关于逻辑斯谛， 更常见的一种表达是Logistic function

$$\sigma (z)=\frac{1}{1+\exp (-z)}$$

• 这个函数把实数域映射到(0, 1)区间，这个范围正好是概率的范围， 而且可导，对于0输入， 得到的是0.5，可以用来表示等可能性。

二项逻辑斯谛回归模型

• 二项逻辑斯谛回归模型是如下的条件概率分布：(这里的$w$是对扩充的权值向量，包含参数$b$)

P ( Y = 1 ∣ x ) = exp ⁡ ( w ⋅ x ) 1 + exp ⁡ ( w ⋅ x ) = exp ⁡ ( w ⋅ x ) / exp ⁡ ( w ⋅ x ) ( 1 + exp ⁡ ( w ⋅ x ) ) / ( exp ⁡ ( w ⋅ x ) ) = 1

logisticregression

参考资料：1.李航《统计学习方法》；2.https://blog.csdn.net/laobai1015/article/details/78113214基础：1.知道分类问题和回归问题的区别； 一、逻辑斯蒂回归的基本概念1.逻辑斯蒂回归是一种分类算法，最常用的二项逻辑斯蒂回归只适用... 查看详情

逻辑斯蒂和最大熵-李航

1、逻辑斯蒂分布sigmoid曲线二项逻辑斯蒂回归模型，实际上是二项判别模型。基于逻辑斯蒂的似然函数等于每个取值的概率之积。对数似然是对他们取log多项逻辑斯蒂回归，实际是二项的扩展。2、最大熵模型由5.2.2节的熵模型。... 查看详情

李航统计学习方法(第二版)：逻辑斯谛回归

1简介逻辑斯谛回归(logisticregression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model)。逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。2模型2.... 查看详情

统计学习方法　李航　逻辑斯谛回归与最大熵模型

介绍了分布函数和概率密度，函数特点．这里的逻辑斯谛回归模型就是为了将实数范围映射到(0,1)范围上．即将线性函数外套上sigmoid函数．https://blog.csdn.net/hfutxiaoguozhi/article/details/78843932这篇博客对此解释非常好．既然已经有了... 查看详情

logisticregression逻辑斯蒂回归

​​WelcomeToMyBlog​​LogisticRegressionlogistic回归是统计学习中的经典分类方法,他属于对数线性模型,logistic回归来源于logistic分布,先从logistic分布说起Logisticdistribution设X是连续随机变量,X服从logistic分布,其分布函数和概率密度函数如... 查看详情

用二项逻辑斯蒂回归解决二分类问题(代码片段)

逻辑斯蒂回归:逻辑斯蒂回归是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的基本原理logistic分布折X是连续的随机变量，X服从logistic分布是指X具有下列分布函数和密度... 查看详情

统计学习六：1.对数线性模型之逻辑回归

全文引用自《统计学习方法》（李航）本节介绍的对数线性模型，主要包括逻辑斯谛回归(logisticregression)模型以及最大熵模型(maximumentropymodel)。逻辑斯谛回归模型是统计学中十分经典的分类方法，而最大熵是概率学习中的一个准... 查看详情

逻辑斯蒂回归(代码片段)

逻辑斯蒂回归（logisticregression）是经典的分类方法。虽然名字中包含回归，但它被用来分类。逻辑斯蒂分布设(X)是随机变量，(X)服从逻辑斯蒂分布是指(X)的概率分布函数(F(x))和概率密度函数(f(x))为：[F(x)=P(Xlex)=frac11+e^-(x-mu)/gamma][f... 查看详情

pytorch深度学习-06逻辑斯蒂回归（快速入门）(代码片段)

...方向：深度学习，持续创作中目录1.LogisticTutorial(逻辑斯蒂回归)1.1WhyuseLogistic(为什么用逻辑斯蒂回归)1.2RegressionVSClassification(比较回归与分类)1.3Howtomap:R->[0,1](怎样将实数集映射到区间[0,1])2.Sigmoidfunctions(其他Sigmoid函数)3.Lo... 查看详情

logisticregression与最大熵模型·最大熵模型

李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression与最大熵模型2最大熵模型最大熵原... 查看详情

梯度下降法解逻辑斯蒂回归

梯度下降法解逻辑斯蒂回归  本文是AndrewNg在Coursera的机器学习课程的笔记。Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0... 查看详情

机器学习——从线性回归到逻辑斯特回归

LinearRegression在学习李航《统计学习方法》的逻辑斯特回归时，正好coursera上相应的线性回归和逻辑斯特回归都学习完成，在此就一起进行总结，其中图片多来自coursera课程上。线性回归是机器学习中很好理解的一种算... 查看详情

pytorch深度学习——逻辑斯蒂回归（分类问题）（b站刘二大人p6学习笔记）(代码片段)

目录1什么是分类问题？2为什么要使用逻辑斯蒂回归？3SigmidFounction（逻辑斯蒂回归函数）3.1模型的改变3.2损失函数的改变（BCELoss） 3.3代码的改变1什么是分类问题？    分类问题，与之前学习的... 查看详情

lecture6逻辑斯蒂回归(logisticregression)(代码片段)

...集2课堂内容2.1回归任务和分类任务的区别2.2为什么使用逻辑斯蒂回归2.3什么是逻辑斯蒂回归2.4Sigmoid函数和饱和函数的概念2.5逻辑斯蒂回归模型2.6逻辑斯蒂回归损失函数2.6.1二分类损失函数2.6.2 小批量二分类损失函数3代码实现1... 查看详情

逻辑回归

...图片来源于林轩田老师的《机器学习基石》课程）1引入逻辑回归通常的二分类问题，希望输出类别；soft的二分类问题，希望输出概率值： 对于soft问题的理想数据和实际数据： 逻辑回归的思想：先求出特征的线性加权分... 查看详情

逻辑斯蒂回归（logisticregression）

逻辑回归名字比较古怪，看上去是回归，却是一个简单的二分类模型。逻辑回归的目标函数是如下形式：其中x是features，θ是feature的权重，σ是sigmoid函数。将θ0视为θ0*x0（x0取值为常量1），那么这里我们取阈值为0.5，那么二分类... 查看详情

统计学习方法-李航第一章

第一章统计学习方法概论学习：如果一个系统能够通过执行某个过程改进它的性能，这就是学习监督学习：从训练数据集中学习模型，对测试数据进行预测回归问题：输入变量与输出变量均为连续变量的预测问题分类问题：输出... 查看详情

统计学习方法李航学习笔记

一、决策树1、决策树是一种基本的分类与回归方法，本文主要讨轮用于分类的决策树，决策树模型呈现树形结构，在分类问题中，表示基于特征对实例进行分类的过程，学习时，利用训练数据，根据损失函数最小化的原则建立... 查看详情