关键词：
全文引用自《统计学习方法》（李航）
本节介绍的对数线性模型，主要包括逻辑斯谛回归(logistic regression)模型以及最大熵模型(maximum entropy model)。逻辑斯谛回归模型是统计学中十分经典的分类方法，而最大熵是概率学习中的一个准则，通过推广到分类问题，可以得到最大熵模型。本文主要介绍逻辑斯谛回归模型，并在以后详细介绍最大熵模型以及对数线性模型的优化方法。
1.逻辑斯谛分布
逻辑斯谛分布(logistic distribution)定义： 设X是连续的随机变量，则X服从逻辑斯谛分布是指其满足一下分布函数和密度函数：
[
eginaligned
F(x)=P(Xle x)=frac11+e^-(x-mu)/gammaf(x)=F‘(x)=frace^-(x-mu)/gammagamma(1+e^-(x-mu)/gamma)^2
endaligned
]
式中，(mu)为位置参数，(gamma > 0)为形状参数。
逻辑斯谛回归分布的密度函数和分布函数的形状如下图：
分布函数F(x)即逻辑斯谛函数，其图形是一条s形曲线，以((mu, frac12))点为中心呈中心对称，即满足
[
F(-x+mu)-frac12=-F(x-mu)+frac12
]
形状参数(gamma)越小，曲线在对称中心附近增长越快。
2.二项逻辑斯谛回归模型
二项逻辑斯谛回归模型(binomial logistic regression model)是一种分类模型，由条件概率P(Y|X)表示，其形式为参数化的逻辑斯谛分布。其中，随机变量X为实数，随机变量Y取值0或1。则二项逻辑斯谛回归模型形式如下：
[
eginaligned
P(Y=1|x)=fracexp(wcdot x+b)1+exp(wcdot x+b)P(Y=0|x)=frac11+exp(wcdot x+b)
endaligned
]
其中，(xin R^n)为模型输入实例，(Yin0,1)为模型输出，(win R^n.bin R)为参数，w称为权值向量，b称为偏置，(wcdot x)为两者的内积。
对于给定的输入实例x，按照上式进行计算，可以得到P(Y=1|x)和P(Y=0|x)，则逻辑回归模型比较两者的大小，将实例分为概率较大的一类。
通常为了计算方便，会将权值向量和输入向量扩展为(w=(w^(1),w^(2),cdots,w^(n),b)^T,x=(x^(1),x^(2),cdots,x^(n),1)^T),同时，逻辑斯谛回归模型的形式如下：
[
eginaligned
P(Y=1|x)=fracexp(wcdot x)1+exp(wcdot x)P(Y=0|x)=frac11+exp(wcdot x)
endaligned
]
定义一个事件的几率(odds)为该事件发生的概率和该事件不发生的概率之比，若一个事件发生的概率为p,那么该事件的几率为(fracp1-p),则该事件的对数几率(log odds)或logit函数是：
[
logit(p)=logfracp1-p
]
则对于逻辑斯谛回归模型而言，Y=1的几率为：
[
logfracP(Y=1|x)1-P(Y=1|x)=wcdot x
]
即，在逻辑斯谛回归模型中，输出Y=1的对数几率是输入x的线性函数，或输出Y=1的对数几率是由输入x的线性函数表示的模型此模型即为逻辑斯谛回归模型。
3. 模型的参数估计
对于逻辑斯谛回归模型的学习流程，主要是对于给定的训练数据集(T=(x_1,y_1),(x_2,y_2),cdots,(x_N,y_N),x_iin R^n,y_iin0,1)，利用极大似然估计法来估计模型的参数，从而得到逻辑斯谛回归模型。
假设：(P(Y=1|x)=sigma(x),P(Y=0|x)=1-sigma(x))
则似然函数为：
[
prod_i=1^N[sigma(x_i)]^y_i[1-sigma(x_i)]^1-y_i
]
对数似然函数为：
[
eginaligned
L(w)&=sum_i=1^N[y_ilogsigma(x_i)+(1-y_i)log(1-sigma(x_i))]&=sum_i=1^Nleft[y_ilogfracsigma(x_i)1-sigma(x_i)+log(1-sigma(x_i))
ight]&=sum_i=1^N[y_i(wcdot x_i)-log(1+exp(wcdot x_i))]
endaligned
]
此时，对L(w)求最大值，即得到w的估计值。
因此，模型的学习问题就变成了以对数似然函数为目标函数的最优化问题。通常采用梯度下降法或拟牛顿法来求取最优值。
假定w的极大似然估计值为(hatw)，则学习到的逻辑斯谛回归模型为：
[
eginaligned
P(Y=1|x)=fracexp(hatwcdot x)1+exp(hatwcdot x)P(Y=0|x)=frac11+exp(hatwcdot x)
endaligned
]
4.多项逻辑斯谛回归模型
针对多分类问题，可以将二项分类的逻辑斯谛回归模型进行推广，称为多项逻辑斯谛回归模型。
假定离散型随机变量Y的取值集合为(1,2,cdots,K)，那么多项逻辑斯谛回归模型为：
[
eginaligned
P(Y=k|x)=fracexp(w_kcdot x)1+sum_k=1^K-1exp(w_kcdot x),k=1,2,cdots,K-1P(Y=K|x)=frac11+sum_k=1^K-1exp(w_kcdot x)
endaligned
]
其中(xin R^n+1,w_kin R^n+1)。
而二项逻辑斯谛回归模型的参数估计方法，也可以推广到多项逻辑斯谛回归模型中。
机器学习逻辑回归(代码片段)
逻辑回归原理逻辑回归模型逻辑回归模型（LR）是判别模型，可以用于二分类或多分类，模型如下：二分类： $$P(Y=1|x)=fracexpleft(wcdotxight)1+expleft(wcdotxight)$$$$P(Y=0|x)=frac11+expleft(wcdotxight)$$ 多分类： $$P(Y=k|x)=fracexpleft(w_kcdotx... 查看详情
统计学习方法[6]——逻辑回归模型
统计学习方法由三个要素组成：方法=模型+策略+算法模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验... 查看详情
逻辑斯谛回归，softmax回归与最大熵模型
逻辑斯谛回归(logisticregression)是统计学习中的经典分类方法最大熵是概率模型学习的一个准则，被推广到分类问题后可得到最大熵模型(MaximumEntropyModel)逻辑斯谛回归模型与最大熵模型都属于对数线性模型，而对数线性模型又是广... 查看详情
逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
0.概述：Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，logistic回归模型与最大熵模型都是对数线性模型。本文第一部分主要讲什么是logistic（逻辑斯谛）回... 查看详情
机器学习——逻辑回归（logisticregression）
1前言 虽然该机器学习算法名字里面有“回归”，但是它其实是个分类算法。取名逻辑回归主要是因为是从线性回归转变而来的。 logistic回归，又叫对数几率回归。2logistic回归和线性回归的关系2.1线性回归模型 首先给... 查看详情
统计学习方法五逻辑回归分类
逻辑回归分类1，概念 2，算法流程 3，多分类逻辑回归 4，逻辑回归总结 优点：1）预测结果是界于0和1之间的概率；2）可以适用于连续性和类别性自变量；3）容易使用和解释；缺点：1）对模型中自变量多... 查看详情
逻辑回归|机器学习|分类算法(代码片段)
...率模型，可以求解二分类问题。∙\\bullet∙之前我们学习过线性回归模型，带入模型后每一个点都有一个对应的实 查看详情
逻辑回归算法
使用线性模型进行回归学习，但若要做分类任务该怎么办呢？答案蕴含在广义线性模型中：只需要找一个单调可微的函数将分类任务的真实标记y与线性回归模型的预测值联系起来。 对数几率函数是一个常用的替代函数... 查看详情
lesson4.1逻辑回归模型构建与多分类学习方法(代码片段)
...质三、逻辑回归模型输出结果与模型可解释性四、多分类学习与多分类逻辑回归1.OvO策略2.OvR策略3.MvM策略首先，我们来讨论 查看详情
关于机器学习中基于对数线性回归模型的讨论
前言 在之前的关于回归问题的讨论中，笔者主要给出了一般原始的线性回归模型（主要以最小二乘法形式进行的）以及其它两种主流的线性回归模型的补充内容，它们主要是为了解决样本之间存在线性相关性的问题，包... 查看详情
算法之逻辑回归
...率之比为p/(1-p)，称为事件的优势比（odds），对odds取自然对数即得logistic变换logit(p)=ln(p/(1 查看详情
机器学习06-逻辑回归
...归：逻辑回归是一种用于解决二分类（0or1）问题的机器学习方法。 线性回归处理的是回归问题，逻辑回归处理的是分类问题；两者的损失函数不同，线性回归是均方误差，逻辑回归是对数似然损失；输入变量与输出变量均... 查看详情
机器学习笔记：大话线性回归(代码片段)
...预测相应的y值。这很符合我们正常逻辑，不难理解。那统计学中的线性回归是如何解释的呢？对于统计模型线性回归，我想从以下六个方面来展 查看详情
从零开始学人工智能--统计学习：统计学习基础知识
目录统计学习基础知识1.统计学习种类1.1监督学习1.2非监督学习2.统计学习中的基本概念2.1统计学习三要素：模型，策略，算法2.2欠拟合和过拟合2.3如何避免过拟合2.4过拟合产生的原因2.5最大似然估计和贝叶斯估计3.线性回归3.1经... 查看详情
6.逻辑回归
...，疾病自动诊断，经济预测等领域。线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量百关系的一种统计分析方法。常运用于数学、金融、趋势线、经济学等领域。2.自述一下什么是过拟合和欠... 查看详情
lr（逻辑回归）
...=wTx+b它就是用线性回归模型的预测结果去逼近真实标记的对数几率。真实标记：是在模型训练时已经给出。进而模型训练来确定模型参数w和b 查看详情
机器学习666
...广义的线性回归分析模型。 线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。应用不同 逻辑回归：常用于自数据挖掘，疾病自动诊断，经济预测等领... 查看详情
逻辑归回
...一种广义的线性回归分析模型。 线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 2.自述一下什么是过拟合和欠拟合？ （1）过拟合：其实就是所... 查看详情