关键词：
ng机器学习视频笔记（四）
——logistic回归
（转载请附上本文链接——linhxx）
一、概述
1、基本概念
logistic回归（logistic regression），是一个分类（classification）算法（注意不是回归算法，虽然有“回归”二字），用于处理分类问题，即结果是离散的。另外，由于有固定的结果，其是监督学习算法。
例如，预测天气、预测是否通过考试等，结果是离散的值，而预测房价这种就属于“回归”算法要解决的问题，而不是分类算法解决的问题。
2、公式
现在考虑只有两种结果情况下的logistic回归，结果只有0和1两种，即预测事件是否发生，1表示发送，0表示不发生。其h函数公式如下图所示：
其中，g函数又层S型函数（sigmoid function）。易知g函数范围：0<=g(z)<=1。
函数图像如下：
h(x)=g(z)的值，表示y=1的概率。即h(x)=p(y=1|x; θ)。y=1表示事件发生。因此h函数的结果即为事件发生的概率。
由于事件只有发生和不发生两种状态，因此，事件发生+事件不发生的概率为1，即如下公式：
二、决策边界
决策边界（decision boundary）表示h(x)=0时的x的表达式。
由于h函数是表示事件发生的概率，但是事件只有发生和不发生两种情况，因此需要将预测计算的概率和最终的结果联系起来。由于概率在0~1分布，因此，可以认为当h(x)>=0.5时，y=1。即h(x)>=0.5时，预测事件发生。同理，h(x)<0.5时，预测结果是y=0，即事件不会发生。即，只有两个结果的情况下，一个结果发生的概率超过一半，则认为其会发生。
另外，由上面g(z)函数的图，可以知道，当z>=0时g(z)>=0.5，因此，z>=0时y=1。根据样本集的分布，决策边界可以分为线性的和非线性的。
三、代价函数
1、不能使用线性回归的代价函数公式
根据下图所示线性回归的代价函数，把h(x)用上面的1/(1+e-z)带入，求出来的结果，会是一个存在非常多极小值的函数，这样的代价函数称为非凸函数（non-convex）。
非凸函数的缺点在于，其极小值很多。根据梯度下降法，可以知道梯度下降只能求得极小值，因此对于非凸函数而言，最终得到的很可能是一个非最优化的代价函数，即预测结果可能很差，因此，需要对此公式进行变换。
2、公式
变换后的公式如上述所示。
3、公式分析
1）y=1
y=1时代价函数cost(h(x),y)=-log(h(x))，此时的函数图如下：
即，当y=1且预测结果h(x)=1时，代价是0；当h(x)=0时代价是正无穷大。
这个很好理解，因为事件只有发生和不发生，y=1表示真实情况下事件是发生的，此时如果预测也是发生则没有代价，如果预测是不发生则完全错误，代价非常大。由于h(x)>=0.5时结果都会当作发生，因此当h(x)<0.5时代价会陡增。
2）y=0
y=0时代价函数cost(h(x),y)=-log(1-h(x))，函数图如下：
分析过程同y=1。
4、简化代价函数
由于y只有0、1两种情况，此时代价函数可以简化，如下：
这个就是把上面的情况整合进来，把y=0、y=1带入则还是原来的式子。
四、梯度下降算法
方式同线性回归，不断迭代下面的式子，需要注意的是，当有多个特征，要一次性计算出所有的θ，同时带入。
另外，当特征值很大时，需要考虑特征缩放。
此外，除了梯度下降算法，还可以使用共轭梯度法（conjugate gradient）、变尺度法（BFGS）、限制变尺度法（L-BFGS）等，这些算法的共同点是不需要认为的选择α、收敛速度快，但是缺点是过程非常复杂。
五、一对多分类
当分类的结果有多种，而不仅仅是事件发生和不发生，例如预测天气，有晴、阴、雨等多种情况，此时称为一对多分类 （one-vs-all、one-vs-rest）。
这种情况下，采用的方法是，把结果拆成多种，每种的事件发生是1、不发生是0。分类图如下：
例如，预测明天的天气，把y=1、2、3（三角形、红叉、正方形）分别表示晴、阴、雨三种天气，则逐个进行预测，当预测是否晴天，y=1看作一类，y=2、3看作一类进行讨论。
其他情况类推。
此时，分别计算出h(x)=p(y=i|x; θ) (i=1,2,3)的概率，并得出最大概率是分到哪类。
——written by linhxx
更多最新文章，欢迎关注微信公众号“决胜机器学习”，或扫描右边二维码。
ng机器学习视频笔记——线性回归代价函数梯度下降基础
ng机器学习视频笔记（一）——线性回归、代价函数、梯度下降基础 （转载请附上本文链接——linhxx） 一、线性回归 线性回归是监督学习中的重要算法，其主要目的在于用一个函数表... 查看详情
机器学习实战笔记logistic回归
参考链接http://blog.csdn.net/lu597203933/article/details/38468303Logistic代码#Logistic回归分类使用梯度上升找最佳参数importnumpyasnpdefloadDataSet():datMat=[];labelMat=[]fr=open(‘testSet.txt‘)forlineinfr.readlines():lineAr 查看详情
机器学习笔记—logistic回归
本文申明：本系列笔记全部为原创内容，如有转载请申明原地址出处。谢谢序言：whatislogisticregression?Logistics一词表示adj.逻辑的;[军]后勤学的n.[逻]数理逻辑;符号逻辑;[军]后勤学，“回归”是由英国著名生物学家兼统计学家... 查看详情
ng机器学习视频笔记——线性回归的多变量特征缩放标准方程法
ng机器学习视频笔记（三）——线性回归的多变量、特征缩放、标准方程法 （转载请附上本文链接——linhxx） 一、多变量 当有n个特征值，m个变量时，h(x)=θ0+θ1x1+θ2x2…+θnxn，其中可以... 查看详情
机器学习logistic回归---学习笔记
Logistic回归学习笔记Logistic回归学习线路预备知识：建议先去B站学习一下信息量，熵，BL散度，交叉熵的概念。Logistic回归的函数模型损失最小化架构分类函数最大概率分类函数阈值分类函数Logistic回归的优化算法... 查看详情
《机器学习实战》学习笔记：logistic回归(代码片段)
欢迎关注WX公众号：【程序员管小亮】【机器学习】《机器学习实战》读书笔记及代码总目录https://blog.csdn.net/TeFuirnever/article/details/99701256GitHub代码地址：https://github.com/TeFuirnever/Machine-Learning-in-Action——————————... 查看详情
《机器学习实战》logistic回归算法
=====================================================================《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记也包含一些其他python实现的机器学习算法 查看详情
机器学习基础笔记一
监督学习非监督学习：学习结构化知识强化学习 监督学习:线性回归模型：输出y是连续的Logistic回归模型（实际上不是回归问题，是分类问题）：输出y是0，1离散的 Logistic回归模型：Sigmoid函数：将任何输入变成0与1之间的... 查看详情
ng机器学习视频笔记（十六）——从图像处理谈机器学习项目流程
ng机器学习视频笔记（十六）——从图像处理谈机器学习项目流程 （转载请附上本文链接——linhxx） 一、概述 这里简单讨论图像处理的机器学习过程，主要讨论的是机器学习的项目流... 查看详情
机器学习：logistic回归原理及其实现
Logistic回归是机器学习中非常经典的一个方法，主要用于解决二分类问题，它是多分类问题softmax的基础，而softmax在深度学习中的网络后端做为常用的分类器，接下来我们将从原理和实现来阐述该算法的思想。1.原理a.问题描述考... 查看详情
机器学习实战第5章logistic回归
第5章Logistic回归Logistic回归概述Logistic回归虽然名字叫回归，但是它是用来做分类的。其主要思想是:根据现有数据对分类边界线建立回归公式，以此进行分类。须知概念Sigmoid函数回归概念假设现在有一些数据点，我们用一条直线... 查看详情
ng机器学习视频笔记（十四）——推荐系统基础理论
ng机器学习视频笔记（十三）——推荐系统基础理论 （转载请附上本文链接——linhxx） 一、概述 推荐系统（recommendersystem），作为机器学习的应用之一，在各大app中都有应用。这里以... 查看详情
ng机器学习视频笔记——神经网络基础
ng机器学习视频笔记（六）——神经网络基础 （转载请附上本文链接——linhxx） 一、概述 神经网络，可以理解为输入的内容，经过一系列的内部的处理，得到输出的假设函数。简... 查看详情
ng机器学习视频笔记——k-均值算法理论
ng机器学习视频笔记（十一）——K-均值算法理论 （转载请附上本文链接——linhxx） 一、概述 K均值（K-Means）算法，是一种无监督学习（Unsupervisedlearning）算法，其核心是聚类（Clus... 查看详情
[机器学习实战-logistic回归]使用logistic回归预测各种实例(代码片段)
[机器学习实战-Logistic回归]使用Logistic回归预测各种实例目录[机器学习实战-Logistic回归]使用Logistic回归预测各种实例本实验代码已经传到gitee上，请点击查收！一、实验目的二、实验内容与设计思想实验内容设计思想三、实验使... 查看详情
[机器学习实战]logistic回归
1.Logistic回归： 1）优点：计算代价不高，易于理解和实现； 2）缺点：容易欠拟合，分类精度可能不高； 3）适用数据类型：数值型和标称型数据； 2.分类思想： 根据现有数据对分类边界线建立回归公式，以此... 查看详情
机器学习实战精读--------logistic回归
Logistic回归的主要目的：寻找一个非线性函数sigmod最佳的拟合参数拟合、插值和逼近是数值分析的三大工具回归：对一直公式的位置参数进行估计拟合：把平面上的一些系列点，用一条光滑曲线连接起来logistic主要思想：根据现... 查看详情
机器学习——基础整理：线性回归；二项logistic回归；softmax回归；广义线性模型
...线性模型 二项Logistic回归是我去年入门机器学习时学的第一个模型，我觉得这个模型很适合用来入门（但是必须注意这个模型有很多很多很多很多可以展开的地方）。比较有意思的是那时候还不会矩阵微积分，... 查看详情