关键词：
在分类的问题中，要预测的变量y经常是离散的，如需要预测是正确还是错误，这是一种最基本的二分类。当然，逻辑回归也可以进行多分类，有一种简单的方法是，将其中一类标记为正类，剩余类标记为负类，可以得到正类，再讲另外一个类标记为正类，重复进行既可得到多分类的结果。
LR的常规步骤：
1.寻找假设函数
2.构造损失函数
3.使损失函数最小，并求得回归参数
对于二分类，输出标记为
，而线性回归模型产生的预测值
是实值，于是我们要将
转换为0/1值。最理想的是单位阶跃函数，但是单位阶跃函数不连续不可微，于是，利用的是Sigmoid函数来代替单位阶跃函数：
对于线性边界而言，边界形式如下：
构造预测函数为：
其中
有自己的含义，代表的是结果取1时的概率，并且：
接下来，需要构造损失函数：
介绍一下推理过程：
（1）式子可以表示为：
取似然函数：
再取对数：
可以使用梯度下降法进行求解，取：
θ的更新过程为：
θ更新过程可以写成：
为了避免过拟合问题，可以引入正则化。
关于随机梯度下降算法：
https://wenku.baidu.com/view/71203201bed5b9f3f90f1c3e.html
http://www.cnblogs.com/ooon/p/4947688.html
andrewng机器学习课程笔记之逻辑回归
AndrewNg机器学习课程笔记（二）之逻辑回归版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7364598.html 前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内容放在博客... 查看详情
逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记
0.概述：Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，logistic回归模型与最大熵模型都是对数线性模型。本文第一部分主要讲什么是logistic（逻辑斯谛）回... 查看详情
深度学习笔记
...moid）：将线性函数的输出压缩进区间(0,1)。逻辑回归机器学习算法与Python实践之（七）逻辑回归（LogisticRegression）Coursera公开课笔记:斯坦福大学机器学习第六课“逻辑回归(LogisticRegression)” 支持向量机（supportvectormachine）：... 查看详情
统计学习方法五逻辑回归分类
逻辑回归分类1，概念 2，算法流程 3，多分类逻辑回归 4，逻辑回归总结 优点：1）预测结果是界于0和1之间的概率；2）可以适用于连续性和类别性自变量；3）容易使用和解释；缺点：1）对模型中自变量多... 查看详情
机器学习笔记—logistic回归
...辑;[军]后勤学，“回归”是由英国著名生物学家兼统计学家高尔顿在研究人类遗传问题时提出来的。为了研究父代与子代身高的关系，高尔顿搜集了1078对父亲及其儿子的身高数据。他发 查看详情
《机器学习》学习笔记：线性回归逻辑回归
《机器学习》学习笔记（一）：线性回归、逻辑回归 本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。 在学习《机器学习》时，我主要是通过Andrew... 查看详情
sparkmllib学习分类算法之逻辑回归算法
SparkMLlib学习分类算法之逻辑回归算法（一），逻辑回归算法的概念（参考网址：http://blog.csdn.net/sinat_33761963/article/details/51693836） 逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族... 查看详情
机器学习笔记逻辑回归
一、逻辑回归问题二分类的问题为是否的问题，由算出的分数值，经过sign函数输出的是（+1，-1），想要输出的结果为一个几率值，则需要改变函数模型，其中，，则逻辑回归的函数为二、逻辑回归错误评价线性分类和线性回归... 查看详情
李航统计学习方法(第二版)：逻辑斯谛回归
1简介逻辑斯谛回归(logisticregression)是统计学习中的经典分类方法。最大嫡是概率模型学习的一个准则，将其推广到分类问题得到最大嫡模型(maximum entropy model)。逻辑斯谛回归模型与最大嫡模型都属于对数线性模型。2模型2.... 查看详情
机器学习笔记：大话线性回归(代码片段)
...预测相应的y值。这很符合我们正常逻辑，不难理解。那统计学中的线性回归是如何解释的呢？对于统计模型线性回归，我想从以下六个方面来展 查看详情
《统计学习方法》--逻辑斯谛回归模型(代码片段)
《统计学习方法》第六章–逻辑斯谛回归模型逻辑斯谛回归概述逻辑斯谛回归的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数。... 查看详情
[机器学习]courseraml笔记-逻辑回归（logisticregression）
引言 机器学习栏目记录我在学习MachineLearning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自StandfordAndrewNg老师在Coursera的教程以及UFLDLTutorial，StanfordCS231n等在线课... 查看详情
机器学习笔记-基于逻辑回归的分类预测(代码片段)
...模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于 查看详情
机器学习笔记：多类逻辑回归
仍然是动手学尝试学习系列的笔记，原文见：多类逻辑回归—从0开始 。这篇的主要目的，是从一堆服饰图片中，通过机器学习识别出每个服饰图片对应的分类是什么（比如：一个看起来象短袖上衣的图片，应该归类到T-Sh... 查看详情
《机器学习实战》笔记——逻辑回归
书上没有给具体的逻辑回归的课程，就直接上了代码，这很不好！可以参考ng的课程，或者看这篇博文：http://blog.csdn.net/wlmnzf/article/details/72855610?utm_source=itdadao过程还是比较浅显易懂的，就没怎么备注了。1#_*_coding:utf-8_*_23fromnumpyi... 查看详情
统计学习方法[6]——逻辑回归模型
统计学习方法由三个要素组成：方法=模型+策略+算法模型是针对具体的问题做的假设空间，是学习算法要求解的参数空间。例如模型可以是线性函数等。策略是学习算法学习的目标，不同的问题可以有不同的学习目标，例如经验... 查看详情
李航统计学习方法chapter6逻辑斯蒂回归
第6章逻辑斯蒂回归和最大熵模型逻辑斯谛回归(LR)是经典的分类方法1．逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。P(Y=k∣x)=exp(wk⋅x)1+∑k=1K−1exp(wk... 查看详情
机器学习逻辑回归logisticregression
...wNg教授讲解的MachineLearning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主RachelZhang 的个人笔记，为我做个人学习笔记提供了很好的参考和榜样。 §3. 逻辑回归Lo... 查看详情