关键词：
Andrew Ng机器学习课程笔记（二）之逻辑回归
版权声明：本文为博主原创文章，转载请指明转载地址
http://www.cnblogs.com/fydeblog/p/7364636.html
前言
学习了Andrew Ng课程，开始写了一些笔记，现在写完第5章了，先把这5章的内容放在博客中，后面的内容会陆续更新！
这篇博客主要记录了Andrew Ng课程第二章逻辑回归，主要介绍了梯度下降法，逻辑回归的损失函数，多类别分类等等
简要介绍：逻辑回归算法是分类算法，我们将它作为分类算法使用。有时候可能因为这个算法的名字中出现了回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签 y 取值离散的情况，如：1 0 0 1。比如对邮件进行分类，垃圾邮件用表示，非垃圾邮件用0表示。
实现算法：梯度下降算法
1. 建立逻辑回归假设
括号内的 x跟线性回归的一样，主要是套上g(x)，压缩它的函数值范围，方便分类判决。
g(x)的表达式如下：
根据这个函数特性，我们可以知道，g(z)的范围是在（0,1），函数图形如下：
当hθ大于等于0.5时，预测 y=1；当hθ小于 0.5 时，预测 y=0。
2.建立代价函数
对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（ non-convex function）
如下图所示
这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。所以需要定义新的代价函数
hθ(x)与 Cost(hθ(x),y)之间的关系如下图所示：
这样构建的Cost(hθ(x),y)函数的特点是： 当实际的y=1且hθ也为1时误差为0，当y=1但hθ不为1时误差随着 hθ的变小而变大；当实际的 y=0 且hθ也为 0 时代价为 0，当 y=0 但 hθ不为0时误差随着 hθ的变大而变大。这样符合单调性，就可以使用梯度下降法。
于是代价函数定义如下
3. 参数更新迭代
这个与线性回归相同
4. 多类别分类： 一对多
很多时候，我们分类的数目是多个的，这里介绍一个叫做"一对多" (one-vs-all) 的分类算法。
我们将多个类中的一个类标记为正向类（y=1），然后将其他所有类都标记为负向类，如图
在我们需要做预测时，我们将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。（就是比较图中三个hθ(x)，找到最大值，并判断为相应的类型）
斯坦福大学andrewng-机器学习笔记--逻辑回归&正则化
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
机器学习逻辑回归logisticregression
文章内容均来自斯坦福大学的AndrewNg教授讲解的MachineLearning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主RachelZhang 的个人笔记，为我做个人学习笔记提供了很好的参考和榜样。&n... 查看详情
andrewng机器学习课程笔记之应用机器学习的建议
AndrewNg机器学习课程笔记（五）之应用机器学习的建议版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7368472.html 前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内... 查看详情
机器学习：逻辑回归
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情
andrewng机器学习课程笔记之神经网络
AndrewNg机器学习课程笔记（四）之神经网络版权声明：本文为博主原创文章，转载请指明转载地址http://www.cnblogs.com/fydeblog/p/7365730.html前言学习了AndrewNg课程，开始写了一些笔记，现在写完第5章了，先把这5章的内容放在博客中，... 查看详情
机器学习：神经网络之表达
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情
斯坦福大学andrewng-机器学习笔记--单变量&多变量线性回归
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第三周(代码片段)
一.逻辑回归问题（分类问题）生活中存在着许多分类问题，如判断邮件是否为垃圾邮件；判断肿瘤是恶性还是良性等。机器学习中逻辑回归便是解决分类问题的一种方法。二分类：通常表示为y?0,1，0：“NegativeClass”，1：“Possit... 查看详情
andrewng机器学习：逻辑回归
1.逻辑回归解决什么问题？逻辑回归用于分类问题。对于二分类问题，输入多个特征，输出为是或不是（也可以写作1或0）。逻辑回归就是这样一个用于分类的模型。2.什么是逻辑回归？逻辑回归建立在线性回归的基础上。首先，... 查看详情
andrewng机器学习入门——线性回归
...开始涉猎机器学习。作为入门，首先学习的是斯坦福大学AndrewNg(吴恩达)教授的Coursera课程2单变量线性回归线性回归属于监督学习(SuperviseLearning)，就是Rightanswerisgiven。课程中，举了一个估计房产价格的例子，在此，我就直接使用... 查看详情
andrewng机器学习课程笔记————通过初步的神经网络实现手写数字的识别(尽力去向量化实现)
上一篇我总结了自己在学完逻辑回归后，实现了对手写数字的初步识别，在学完了Andrew教授的神经网络简易教程后，趁着知识刚学完没多久，记下了自己在运用简易神经网络实现手写数字识别过程中的总结和问题^_^ 菜鸡QP的... 查看详情
机器学习：算法与应用byxdu2022冬季课程笔记1：线性回归与逻辑回归
机器学习：[算法与应用byXDU2022冬季课程笔记集合]文章目录1.回顾与总览2.线性模型与线性回归（LinearRegression）3.逻辑回归（LogisticRegression）分类器4.总结1.回顾与总览上节课程概括了整个机器学习算法流程，... 查看详情
《机器学习实战》笔记——逻辑回归
书上没有给具体的逻辑回归的课程，就直接上了代码，这很不好！可以参考ng的课程，或者看这篇博文：http://blog.csdn.net/wlmnzf/article/details/72855610?utm_source=itdadao过程还是比较浅显易懂的，就没怎么备注了。1#_*_coding:utf-8_*_23fromnumpyi... 查看详情
机器学习单变量线性回归linearregressionwithonevariable
文章内容均来自斯坦福大学的AndrewNg教授讲解的MachineLearning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主RachelZhang和 JerryLead 的个人笔记，为我做个人学习笔记提供了很好的... 查看详情
机器学习：监督学习和无监督学习
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第四周
神经网络1.神经网络发展的动力：在逻辑回归解决复杂的分类问题时，我们使用属性的一些组合来构造新的属性（x12,x1x2,x22...），这样就会造成属性的数目n过多，带来了大量的运算，甚至造成过拟合的现象。在计算机视觉中对物... 查看详情
线性回归梯度下降-andrewng机器学习公开课笔记1.1
实例 首先举个样例。如果我们有一个二手房交易记录的数据集。已知房屋面积、卧室数量和房屋的交易价格，例如以下表： 假如有一个房子要卖，我们希望通过上表中的数据估算这个... 查看详情
斯坦福机器学习课程笔记
...模拟）---策略（风险函数）--算法（最优化方法）第一节:机器学习的基本概念和分类第二节：线性回归，最小二乘批梯度下降(bgd)和随机梯度下降(sgd)第三节:过拟合，欠拟合非参数学习算法：局部加权回归概率角度解释线性回归... 查看详情