关键词：
**************************************
注：本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。
博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检測、推荐系统及大规模机器学习等内容。
**************************************
逻辑回归
分类（Classi?cation)
分类问题举例：
邮件：垃圾邮件/非垃圾邮件？
在线交易：是否欺诈（是/否）？
肿瘤：恶性/良性？
以上问题能够称之为二分类问题。我们将因变量(dependant variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量y?{0,1}，当中0表示负向类。1表示正向类。
对于多分类问题。能够例如以下定义因变量y：y∈{0,1,2,3,...,n}
假设分类器用的是回归模型，而且已经训练好了一个模型，能够设置一个阈值：
假设hθ(x)≥0.5。则预測y=1,既y属于正例；
假设hθ(x)<0.5。则预測y=0,既y属于负例；
可是对于二分类问题来说，线性回归模型的Hypothesis输出值hθ(x)能够大于1也能够小于0。这个时候我们引出逻辑回归。逻辑回归的Hypothesis输出介于0与1之间，即:
0≤hθ(x)≤1
假说表示（Hypothesis Representation）
上一节谈到，我们须要将Hypothesis的输出界定在0和1之间，既：0≤hθ(x)≤1
可是线性回归无法做到。这里我们引入一个函数g, 令逻辑回归的Hypothesis表示为：
hθ(x)=g(θTx)。这里g称为Logistic function
比如。假设对于给定的 x。通过已经确定的參数计算得出 hθ(x)=0.7，则表示有 70%的几率y为正向类，对应地y为负向类的几率为 1-0.7=0.3。
如今如果我们有一个模型：hθ(x)=g(θ0+θ1x1+θ2x2) ，而且參数θ是向量[-3 1 1]。则当-3+x1+x2 大于等于0，即x1+x2大于等于3 时。模型将预測 y=1。
我们能够绘制直线 x1+x2=3，这条线便是我们模型的分界线，将预測为 1 的区域和预測为 0 的区域分隔开。
上述仅仅是一个线性的决策边界，当hθ(x)更复杂的时候，我们能够得到非线性的决策边界。比如：
Costfunction(代价函数)
对于线性回归模型。我们定义的代价函数是全部模型误差的平方和。理论上来说，我们也能够对逻辑回归模型沿用这个定义，可是问题在于。当我们将
带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convex function）。
这意味着我们的代价函数有很多局部最小值。这将影响梯度下降算法寻找全局最小值。因此我们又一次定义逻辑回归的代价函数：
这样构建的Cost(hθ(x),y)函数的特点是：当实际的 y=1 且 hθ也为 1时误差为 0。当 y=1 但hθ不为1 时误差随着 hθ 的变小而变大；当实际的 y=0 且 hθ也为 0 时代价为0，当y=0 但hθ不为0时误差随着hθ的变大而变大。
在得到这样一个代价函数以后，我们便能够用梯度下降算法来求得能使代价函数最小的參数了。算法为：
注意，这个算法和线性回归里的梯度下降算法差点儿是一致的，除了hθ(x)的表示不同。
除了梯度下降算法以外，另一些常被用来令代价函数最小的算法。这些算法更加复杂和优越，并且通常不须要人工选择学习率，通常比梯度下降算法要更加高速。
这些算法有：共轭梯度（Conjugate Gradient），局部优化法(Broyden fletcher goldfarb shann,BFGS)和有限内存局部优化法(LBFGS)。
Multi-classclassification: One-vs-all(多类分类问题)
多类分类问题举例：
电子邮件分类/标注： 工作邮件。朋友邮件，家庭邮件，爱好邮件
医疗图表(medicaldiagrams): 没有生病，着凉，流感
天气：晴天，多云，雨，雪
One-vs-all(one-vs-rest):
对于多类分类问题，能够将其看做成二类分类问题：保留当中的一类，剩下的作为还有一类。比如，对于以下这个样例，能够分别计算当中一类相对于其它类的概率：
******************
作者：hao_09
时间：2015/8/9
文章地址：http://blog.csdn.net/lsh_2013/article/details/47381227
******************
机器学习逻辑回归介绍
...辑回归的应用场景逻辑回归（LogisticRegression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。广告点击率是否为垃圾邮件是... 查看详情
机器学习——逻辑回归（logisticregression）
1前言 虽然该机器学习算法名字里面有“回归”，但是它其实是个分类算法。取名逻辑回归主要是因为是从线性回归转变而来的。 logistic回归，又叫对数几率回归。2logistic回归和线性回归的关系2.1线性回归模型 首先给... 查看详情
机器学习逻辑回归（logisticregression）
...了个大概，剩下的细节只能自己继续摸索。从本质上讲：机器学习就是一个模型对外界的刺激（训练样本）做出反应，趋利避害（评价标准）。 1.什么是逻辑回归？许多人对线性回归都比较熟悉，但知道逻辑回归的人可能就... 查看详情
[机器学习]--逻辑回归总结
逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原... 查看详情
andrewng机器学习：逻辑回归
1.逻辑回归解决什么问题？逻辑回归用于分类问题。对于二分类问题，输入多个特征，输出为是或不是（也可以写作1或0）。逻辑回归就是这样一个用于分类的模型。2.什么是逻辑回归？逻辑回归建立在线性回归的基础上。首先，... 查看详情
机器学习100天（十七）：017逻辑回归梯度下降
机器学习100天，今天讲的是：逻辑回归-梯度下降！在讲解了逻辑回归的基本原理和损失函数之后，我们来推导逻辑回归模型中参数w和b的梯度表达式。我们之前介绍过，计算逻辑回归的代价函数实际上包含了下面三个过程：Z=WTX+... 查看详情
机器学习100天（十七）：017逻辑回归梯度下降
机器学习100天，今天讲的是：逻辑回归-梯度下降！在讲解了逻辑回归的基本原理和损失函数之后，我们来推导逻辑回归模型中参数w和b的梯度表达式。我们之前介绍过，计算逻辑回归的代价函数实际上包含了下面三个过程：Z=WTX+... 查看详情
机器学习算法---逻辑回归及梯度下降
一、逻辑回归简介 logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 logistic回归是一种广义线性回归（generalizedlinearmodel），因此与多重线性回归分析... 查看详情
机器学习笔记逻辑回归
一、逻辑回归问题二分类的问题为是否的问题，由算出的分数值，经过sign函数输出的是（+1，-1），想要输出的结果为一个几率值，则需要改变函数模型，其中，，则逻辑回归的函数为二、逻辑回归错误评价线性分类和线性回归... 查看详情
逻辑回归|机器学习|分类算法(代码片段)
目录1.逻辑回归1.1逻辑回归原理1.2sigmoid函数2.相关代码2.1LogisticsRegression类2.2求解代码2.3输出结果3.直接调库使用1.逻辑回归1.1逻辑回归原理∙\\bullet∙逻辑回归又叫对数几率回归，是一种对数几率模型，可以求解二分类问... 查看详情
机器学习——线性回归分类与逻辑回归
http://antkillerfarm.github.io/序这是根据AndrewNg的《机器学习讲义》，编写的系列blog。http://www.cnblogs.com/jerrylead/archive/2012/05/08/2489725.html这是网友jerrylead翻译整理的版本，也是本文的一个重要的参考。http://www.tcse.cn/~xulijie/这是jerrylea 查看详情
机器学习100天（十六）：016逻辑回归损失函数
机器学习100天，今天讲的是：逻辑回归损失函数。一、如何找到最佳分类直线讲完了逻辑回归基本原理之后，我们再来思考一个非常关键的问题：就是如何找到最佳的分类直线呢？如图中所示，如何判断这三条直线哪个更好？线... 查看详情
机器学习100天（十六）：016逻辑回归损失函数
机器学习100天，今天讲的是：逻辑回归损失函数。一、如何找到最佳分类直线讲完了逻辑回归基本原理之后，我们再来思考一个非常关键的问题：就是如何找到最佳的分类直线呢？如图中所示，如何判断这三条直线哪个更好？线... 查看详情
机器学习逻辑回归算法(代码片段)
逻辑回归算法学习目标1.逻辑回归的介绍1.1逻辑回归的应用场景1.2逻辑回归的原理1.2.1输入1.2.2激活函数1.3损失以及优化1.3.1损失1.3.2优化1.4小结2.逻辑回归api介绍3.案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1背景介绍3.... 查看详情
机器学习---逻辑回归（machinelearninglogisticregressionii）
在《机器学习---逻辑回归（一）（MachineLearningLogisticRegressionI）》一文中，我们讨论了如何用逻辑回归解决二分类问题以及逻辑回归算法的本质。现在来看一下多分类的情况。 现实中相对于二分类问题，我们更常遇到的是多... 查看详情
第五篇[机器学习]机器学习，逻辑回归comeon
逻辑回归，简单的说，就是用sigmoid函数把连续函数归一化转化成离散的几个可能的结果。逻辑回归的算法最大似然法： 我自己的理解，最大似然法就是在你观测到某一系列事件出现的可能性之后，倒推该事件最可能的... 查看详情
机器学习——从线性回归到逻辑斯特回归
...行总结，其中图片多来自coursera课程上。线性回归是机器学习中很好理解的一种算法。我们以常见的房屋销售为例来进行简单分析：假设我们统计的一个房屋销售的数据如下：在此 查看详情
机器学习：逻辑回归（ovr与ovo）(代码片段)
...对一的意思；改造方法不是指针对逻辑回归算法，而是在机器学习领域有通用性，所有二分类的机器学习算 查看详情