关键词：
1.逻辑回归解决什么问题？
逻辑回归用于分类问题。
对于二分类问题，输入多个特征，输出为是或不是（也可以写作1或0）。
逻辑回归就是这样一个用于分类的模型。
2.什么是逻辑回归？
逻辑回归建立在线性回归的基础上。
首先，线性回归将多个特征映射到一个变量
。
之后，在这个变量上设置一个阈值。大于这个阈值的判断为是，输出1；小于这个阈值的判断为否，输出0。
也可以不输出1或0，而输出是1的概率，再由概率是否大于0.5判断是或否。
逻辑回归就是这样一个输出是1的概率的模型（Sigmoid函数）：
对于θTx，判断输出是否为1的阈值为θTx=0。
3.Decision Boundary
假设我们找到了一个合适的逻辑回归模型，那么，等价于确定了一组θ，使θTx=0是合适的阈值。此时，θTx=0将特征空间分割开了，就叫做Decision Boundary。
实际上，Decision Boundary就是对训练后的模型的另一种描述。
4.逻辑回归的Cost Function
为了评估模型拟合的程度，类比于线性回归，也需要Cost Function，线性回归的Cost Function不适用于逻辑回归。
需要寻找一种判断偏差的方法。
对于单个样本，考察一下对数函数：
当实际是1时，是1的概率越大（h代表概率），偏差越小。同样，当实际是0时，是1的概率越大，偏差越大。
所有样本的偏差求和，Cost Function可以写作下式
5.训练模型（找到偏差最小的参数）
最简单的还是梯度下降。公式再写一次：
详细推导及求偏导数可见：详解。
此外，还可以用conjugate gradient、BFGS、L-BFGS等算法计算参数，效率更高，但比较复杂，不容易调试。
对于封装好的算法，只需要提供Cost Function和偏导数，可以自动选择α和计算了。
6.matlab实现一个逻辑回归。
%data.csv [feature1 feature2 y]
sample = csvread(‘data.csv‘);
x(:,2) = sample(:,1);
x(:,3) = sample(:,2);
y(:,1) = sample(:,3);
x(:,1) = ones(size(x(:,2)));
m = length(x(:,2));
%choose logistic regression as model
%start with
theta = [1;2;1];
alpha = 1;
times = 5000;%迭代次数
J_theta = [1:times];
%cost function J_theta & gridient gri_J using gridient descent
for i=1:times
H = 1./(1+exp(-x*theta));
J_theta(i) = (-1/m) * (log(H‘)*y+log(1-H‘)*(1-y));
gri_J = (1/m).*((H-y)‘ * x)‘;
theta = theta - alpha.* gri_J;
end
plot(J_theta);
% deci_bond_y = -(1/theta(3)).*(theta(1)+theta(2).* x(:,2));
%
% stem(x(:,2),x(:,3),‘x‘);
% hold on;
% plot(x(:,2),deci_bond_y);
7.多元分类
对于每个类别，看做这个类别和“”其他类别“”（课程里叫one versus all），这样就变回二元分类了。
再对每种类别分别做二元分类，得到N个分类器。
当需要测试时，将数据输入到每个分类器，选概率最大的一个作为输出。
小结
逻辑回归建立在线性回归的基础之上。模型为：通过sigmoid函数求输出是1的概率。应用在输出应符合伯努利分布的情况。
梯度下降算法还是好用的，也有了一些更高效的算法。刚开始的时候，可以先拿来用，再慢慢去深入学习。
线性回归和逻辑回归用于处理不同问题，但使用方法都是：分析数据、选取模型、优化数据、选择算法、训练、得到训练后的模型。
斯坦福大学andrewng-机器学习笔记--逻辑回归&正则化
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
《机器学习》学习笔记：线性回归逻辑回归
...正。 在学习《机器学习》时，我主要是通过AndrewNg教授在mooc上提供的《MachineLearning》课程，不得不说AndrewNg老师在讲授这门课程时，真的很用心，特别是编程练习，这门 查看详情
机器学习：逻辑回归
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第三周(代码片段)
一.逻辑回归问题（分类问题）生活中存在着许多分类问题，如判断邮件是否为垃圾邮件；判断肿瘤是恶性还是良性等。机器学习中逻辑回归便是解决分类问题的一种方法。二分类：通常表示为y?0,1，0：“NegativeClass”，1：“Possit... 查看详情
机器学习——线性回归分类与逻辑回归
http://antkillerfarm.github.io/序这是根据AndrewNg的《机器学习讲义》，编写的系列blog。http://www.cnblogs.com/jerrylead/archive/2012/05/08/2489725.html这是网友jerrylead翻译整理的版本，也是本文的一个重要的参考。http://www.tcse.cn/~xulijie/这是jerrylea 查看详情
机器学习逻辑回归logisticregression
文章内容均来自斯坦福大学的AndrewNg教授讲解的MachineLearning课程，本文是针对该课程的个人学习笔记，如有疏漏，请以原课程所讲述内容为准。感谢博主RachelZhang 的个人笔记，为我做个人学习笔记提供了很好的参考和榜样。&n... 查看详情
andrewng机器学习入门——线性回归
...开始涉猎机器学习。作为入门，首先学习的是斯坦福大学AndrewNg(吴恩达)教授的Coursera课程2单变量线性回归线性回归属于监督学习(SuperviseLearning)，就是Rightanswerisgiven。课程中，举了一个估计房产价格的例子，在此，我就直接使用... 查看详情
原andrewng斯坦福机器学习——lecture7(代码片段)
Lecture7 Regularization正则化7.1过拟合问题TheProblemofOverfitting7.2代价函数CostFunction7.3正则化线性回归 RegularizedLinearRegression7.4正则化的逻辑回归模型RegularizedLogisticRegression 7.1过拟合问题TheProblemofOverfitting 查看详情
andrewng机器学习：线性回归
1.什么是线性回归？用线性关系去拟合输入和输出。设输入为x，则输出y=ax+b。对于多元的情况y=b×1+a1x1+a2x2+...+anxn。用θ表示系数，可以写作：其中，x0=1。2.线性回归有什么用？对于连续输入和输出的问题，如果线性回归可以较好... 查看详情
coursera-andrewng(吴恩达)机器学习笔记——第四周
神经网络1.神经网络发展的动力：在逻辑回归解决复杂的分类问题时，我们使用属性的一些组合来构造新的属性（x12,x1x2,x22...），这样就会造成属性的数目n过多，带来了大量的运算，甚至造成过拟合的现象。在计算机视觉中对物... 查看详情
斯坦福大学andrewng-机器学习笔记--单变量&多变量线性回归
大概用了一个月，AndrewNg老师的机器学习视频断断续续看完了，以下是个人学习笔记，入门级别，权当总结。笔记难免有遗漏和误解，欢迎讨论。 鸣谢：中国海洋大学黄海广博士提供课程视频和个人笔记，在此深表感谢... 查看详情
andrewng机器学习第一章——单变量线性回归
监督学习算法工作流程 h代表假设函数，h是一个引导x得到y的函数 如何表示h函数是监督学习的关键问题 线性回归：h函数是一个线性函数 代价函数 在线性回归问题中，常常需要解决最小化问题。代价函数... 查看详情
线性回归梯度下降-andrewng机器学习公开课笔记1.1
实例 首先举个样例。如果我们有一个二手房交易记录的数据集。已知房屋面积、卧室数量和房屋的交易价格，例如以下表： 假如有一个房子要卖，我们希望通过上表中的数据估算这个... 查看详情
局部加权回归欠拟合过拟合-andrewng机器学习公开课笔记1.3
本文主要解说局部加权(线性)回归。在解说局部加权线性回归之前，先解说两个概念：欠拟合、过拟合。由此引出局部加权线性回归算法。 欠拟合、过拟合 例如以下图中三个拟合模型。第一个是一个线性模型。... 查看详情
原andrewng斯坦福机器学习——lecture6_logisticregression
Lecture6 LogisticRegression逻辑回归6.1分类问题Classification6.2假设表示HypothesisRepresentation6.3决策边界DecisionBoundary6.4代价函数CostFunction6.5简化的代价函数和梯度下降SimplifiedCostFunctionandGradientDescent6.6高级优化Advance 查看详情
andrewng机器学习第一章——初识机器学习
机器学习的定义 计算机程序从经验E中学习，解决某一任务T、进行某一性能度量P，通过P测定在T上的表现因E而提高。 简而言之：程序通过多次执行之后获得学习经验，利用这些经验可以使得程序的输出结果更为理想，就... 查看详情
机器学习：神经网络之表达
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情
机器学习：监督学习和无监督学习
...*************************注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘。依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、... 查看详情