关键词:
转自:http://blog.csdn.net/ariessurfer/article/details/41310525
Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多
变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是
否患有某种病。
在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类器,即Logistic Regression Classifier。
在分类情形下,经过学习后的LR分类器是一组权值,当测试样本的数据输入时,这组权值与测试数据按
照线性加和得到
这里是每个样本的个特征。
之后按照sigmoid函数的形式求出
由于sigmoid函数的定义域为,值域为,因此最基本的LR分类器适合对两类目标进行分类。
所以Logistic回归最关键的问题就是研究如何求得这组权值。这个问题是用极大似然估计来做的。
下面正式地来讲Logistic回归模型。
考虑具有个独立变量的向量,设条件慨率为根据观测量相对于某事件发生的
概率。那么Logistic回归模型可以表示为
这里称为Logistic函数。其中
那么在条件下不发生的概率为
所以事件发生与不发生的概率之比为
这个比值称为事件的发生比(the odds of experiencing an event),简记为odds。
对odds取对数得到
可以看出Logistic回归都是围绕一个Logistic函数来展开的。接下来就讲如何用极大似然估计求分类器的参数。
假设有个观测样本,观测值分别为,设为给定条件下得到的概率,同样地,
的概率为,所以得到一个观测值的概率为。
因为各个观测样本之间相互独立,那么它们的联合分布为各边缘分布的乘积。得到似然函数为
然后我们的目标是求出使这一似然函数的值最大的参数估计,最大似然估计就是求出参数,使得
取得最大值,对函数取对数得到
继续对这个分别求偏导,得到个方程,比如现在对参数求偏导,由于
所以得到
这样的方程一共有个,所以现在的问题转化为解这个方程形成的方程组。
上述方程比较复杂,一般方法似乎不能解之,所以我们引用了牛顿-拉菲森迭代方法求解。
利用牛顿迭代求多元函数的最值问题以后再讲。。。
简单牛顿迭代法:http://zh.m.wikipedia.org/wiki/%E7%89%9B%E9%A1%BF%E6%B3%95
实际上在上述似然函数求最大值时,可以用梯度上升算法,一直迭代下去。梯度上升算法和牛顿迭代相比,收敛速度
慢,因为梯度上升算法是一阶收敛,而牛顿迭代属于二阶收敛。
logistic回归
利用Logistic回归进行分类的思想就是:根据现有数据对分类边界线建立回归公式,以此进行分类。该算法最重要的就是要找到最佳拟合参数集。本文介绍二值型输出分类器的数学原理。针对这类问题:接收输入,输出为两个类别... 查看详情
机器学习:logistic回归原理及其实现
Logistic回归是机器学习中非常经典的一个方法,主要用于解决二分类问题,它是多分类问题softmax的基础,而softmax在深度学习中的网络后端做为常用的分类器,接下来我们将从原理和实现来阐述该算法的思想。1.原理a.问题描述考... 查看详情
机器学习-最小二乘法
一、引言这段时间学习《机器学习》,学到第5章的“Logistic回归”,感觉相当吃力。追本溯源,从“Logistic回归”到“线性回归”,再到“最小二乘法”。最终定格到了《高等数学》(第六版·下册)第九章第10节“最小二乘法”... 查看详情
机器学习实战精读--------logistic回归
Logistic回归的主要目的:寻找一个非线性函数sigmod最佳的拟合参数拟合、插值和逼近是数值分析的三大工具回归:对一直公式的位置参数进行估计拟合:把平面上的一些系列点,用一条光滑曲线连接起来logistic主要思想:根据现... 查看详情
logistic回归原理
原理1、二项logistic模型p(y=1|x)=exp(w*x)/(1+exp(w*x))p(y=0|x)=1/(1+exp(w*x))使用这种形式而不使用阶跃函数原因:由于阶跃函数在0点没有导数2、模型参数优化如何估计模型参数w:极大似然估计梯度上升法:极... 查看详情
r使用glm构建logistic回归模型
R使用glm构建logistic回归模型内置的数据集“MTCARS”描述了不同型号的汽车及其不同的发动机规格。在“MTCARS”数据集中,传输模式(自动或手动)由列am描述,该列am是一个二进制值(0或1)。我们可以在“AM”列和其他3列-hp、wt... 查看详情
逻辑回归算法原理是啥?
...解出最优的模型参数,测试验证这个求解的模型的好坏。Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)。回归模型中,y是一个定性变量,比如y=0... 查看详情
2.9logistic回归中的梯度下降法(非常重要,一定要重点理解)
怎么样计算偏导数来实现logistic回归的梯度下降法它的核心关键点是其中的几个重要公式用来实现logistic回归的梯度下降法接下来开始学习logistic回归的梯度下降法logistic回归的公式现在只考虑单个样本的情况,关于该样本的损失... 查看详情
logistic回归分析模型
看了一些书知道了类似于此类公式的1/(1+exp(x))名为logistic回归分析模型,但又有些书上把logistic回归分析模型写为这样的公式exp(x)/(1+exp(x))请问这两个公式有什么区别吗,分别代表什么意思哪?请指教是1/(1+exp(-x))吧,分子分母... 查看详情
回归1——logistic回归
主要思想:根据现有数据对分类边界线建立回归公式,以此进行分类优点:计算代价不高,易于理解和实现缺点:容易欠拟合,分类精度可能不高适用数据类型:数值型和标称型数据 回归的结果为一个数值型数据,利用Sigmoi... 查看详情
[机器学习实战]logistic回归
1.Logistic回归: 1)优点:计算代价不高,易于理解和实现; 2)缺点:容易欠拟合,分类精度可能不高; 3)适用数据类型:数值型和标称型数据; 2.分类思想: 根据现有数据对分类边界线建立回归公式,以此... 查看详情
machinelearning之logistic回归
...称为最佳拟合直线),这个拟合过程就称为回归; 利用Logistic回归进行分类的主要思想是: 根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归”一词源于最佳拟合,表示要找到最佳拟合参数集,其背后... 查看详情
跟着吴恩达老师学习机器学习的第七天-logistic回归的假设函数math表达式+决策界限+代价函数+简化代价函数和logistic回归方程的梯度下降+用逻辑回归解决多类别分类问题
DAY7课程6.2logistic回归的假设函数math表达式1、logistic回归的假设函数表达式的math公式2、logistic回归的假设函数表达式使用课程6.3决策界限1、回顾公式2、决策边界3、各种各样的决策边界课程6.4代价函数1、logistic回归方程画出non-con... 查看详情
机器学习实战四(logisticregression)
机器学习实战四(LogisticRegression)这一章会初次接触最优化算法,在日常生活中应用很广泛。这里我们会用到基本的梯度上升法,以及改进的随机梯度上升法。Logistic回归优点:计算代价不高,易于理解和实现缺点:容易欠拟合... 查看详情
机器学习强基计划1-3:图文详解logistic回归原理(两种优化)+python实现
目录0写在前面1什么是Logistic回归?2手推Logistic回归原理3Python实现3.1创建分类器3.2定义优化过程3.3优化函数3.4可视化0写在前面机器学习强基计划聚焦深度和广度,加深对机器学习模型的理解与应用。“深”在详细推导算... 查看详情
logistic回归分类算法原理分析与代码实现
小结 1.逻辑回归的计算代价不高,是很常用的分类算法。集中基于随机梯度上升的逻辑回归分类器能够支持在线学习。 2.但逻辑回归算法缺点很明显-一般只能解决两个类的分... 查看详情
逻辑回归原理
...的模型参数,然后测试验证我们这个求解的模型的好坏。Logistic回归虽然名字里带“回归”,但是它实际上是一种分类方法,主要用于两分类问题(即输出只有两种,分别代表两个类别)回归模型中,y是一个定性变量,比如y=0或... 查看详情
机器学习实战第5章logistic回归
第5章Logistic回归Logistic回归概述Logistic回归虽然名字叫回归,但是它是用来做分类的。其主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。须知概念Sigmoid函数回归概念假设现在有一些数据点,我们用一条直线... 查看详情