正文

机器学习逻辑回归介绍

赵广陆  赵广陆  2022-12-04  107

关键词：

1 逻辑回归的应用场景

逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归。由于算法的简单和高效，在实际中应用非常广泛。

广告点击率
是否为垃圾邮件
是否患病
金融诈骗
虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器

2 逻辑回归的原理

要想掌握逻辑回归，必须掌握两点：

逻辑回归中，其输入值是什么
如何判断逻辑回归的输出

2.1 输入

逻辑回归的输入就是一个线性回归的结果。

2.2 激活函数

sigmoid函数g(w^T, x)=\\frac11+e^{-h(w)=\\frac11+e}-w^Txg(w**T,x)=1+e−h(w)1=1+e−wTx1
判断标准
- 回归的结果输入到sigmoid函数当中
- 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.55，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

关于逻辑回归的阈值是可以进行改变的，比如上面举例中，如果你把阈值设置为0.6，那么输出的结果0.55，就属于B类。

在之前，我们用最小二乘法衡量线性回归的损失

在逻辑回归中，当预测结果不对的时候，我们该怎么衡量其损失呢？

我们来看下图(下图中，设置阈值为0.6)，

那么如何去衡量逻辑回归的预测结果与真实结果的差异呢？

3 损失以及优化

3.1 损失

逻辑回归的损失，称之为对数似然损失，公式如下：

分开类别：

为预测值对应的概率值。

怎么理解单个的式子呢？这个要根据log的函数图像来理解

无论何时，我们都希望损失函数值，越小越好

分情况讨论，对应的损失函数值：

当y=1时，我们希望值越大越好；
当y=0时，我们希望值越小越好
综合完整损失函数

接下来我们呢就带入上面那个例子来计算一遍，就能理解意义了。

我们已经知道，-log§, P值越大，结果越小，所以我们可以对着这个损失的式子去分析

3.2 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

4 小结

逻辑回归概念【知道】
- 解决的是一个二分类问题
- 逻辑回归的输入是线性回归的输出
逻辑回归的原理【掌握】
- 输入：
  - 线性回归的输出
- 激活函数
  - sigmoid函数
  - 把整体的值映射到[0,1]
  - 再设置一个阈值，进行分类判断
逻辑回归的损失和优化【掌握】
- 损失
  - 对数似然损失
  - 借助了log思想，进行完成
  - 真实值等于0，等于1两种情况进行划分
- 优化
  - 提升原本属于1类别的概率，降低原本是0类别的概率。

机器学习逻辑回归算法(代码片段)

逻辑回归算法学习目标1.逻辑回归的介绍1.1逻辑回归的应用场景1.2逻辑回归的原理1.2.1输入1.2.2激活函数1.3损失以及优化1.3.1损失1.3.2优化1.4小结2.逻辑回归api介绍3.案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1背景介绍3.... 查看详情

机器学习逻辑回归对肿瘤预测(代码片段)

目录1逻辑回归api介绍2案例：癌症分类预测-良／恶性乳腺癌肿瘤预测2.1背景介绍2.2案例分析2.3代码实现2.4小结1逻辑回归api介绍sklearn.linear_model.LogisticRegression(solver=‘liblinear’,penalty=‘l2’,C=1.0)solver可选参数:‘libl... 查看详情

机器学习笔记-基于逻辑回归的分类预测(代码片段)

基于逻辑回归的分类预测1逻辑回归的介绍和应用1.1逻辑回归的介绍逻辑回归（Logisticregression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然... 查看详情

机器学习逻辑回归（logisticregression）

...了个大概，剩下的细节只能自己继续摸索。从本质上讲：机器学习就是一个模型对外界的刺激（训练样本）做出反应，趋利避害（评价标准）。 1.什么是逻辑回归？许多人对线性回归都比较熟悉，但知道逻辑回归的人可能就... 查看详情

机器学习100天（十七）：017逻辑回归梯度下降

机器学习100天，今天讲的是：逻辑回归-梯度下降！在讲解了逻辑回归的基本原理和损失函数之后，我们来推导逻辑回归模型中参数w和b的梯度表达式。我们之前介绍过，计算逻辑回归的代价函数实际上包含了下面三个过程：Z=WTX+... 查看详情

机器学习100天（十七）：017逻辑回归梯度下降

andrewng机器学习课程笔记之逻辑回归

机器学习100天（十五）：015逻辑回归基本原理

机器学习100天，今天讲的是：逻辑回归基本原理一、线性回归与逻辑回归我们之前介绍过线性回归，我们知道线性回归用于数值预测，例如房屋价格预测、信用卡额度预测等。线性回归最重要的一点就是它的预测值，即因变量一... 查看详情

机器学习100天（十五）：015逻辑回归基本原理

机器学习常见算法优缺点之逻辑回归

我们在学习机器学习的时候自然会涉及到很多算法，而这些算法都是能够帮助我们处理更多的问题。其中，逻辑回归是机器学习中一个常见的算参考技术A我们在学习机器学习的时候自然会涉及到很多算法，而这些算法都是能够... 查看详情

机器学习-非线性回归(unlinearregression)-逻辑回归（logisticregression）算法(代码片段)

学习彭亮《深度学习基础介绍：机器学习》课程概率定义概率(Probability):对一件事情发生的可能性的衡量范围0<=P<=1计算方法根据个人置信根据历史数据根据模拟数据条件概率即A在B发生的情况下的概率=AB同时发... 查看详情

《机器学习》学习笔记：线性回归逻辑回归

《机器学习》学习笔记（一）：线性回归、逻辑回归本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。在学习《机器学习》时，我主要是通过Andrew... 查看详情

机器学习：逻辑回归

...*****注：本系列博客是博主学习Stanford大学AndrewNg教授的《机器学习》课程笔记。博主深感学过课程后，不进行总结非常easy遗忘，依据课程加上自己对不明确问题的补充遂有此系列博客。本系列博客包含线性回归、逻辑回归、神... 查看详情

机器学习——逻辑回归（logisticregression）

1前言　　虽然该机器学习算法名字里面有“回归”，但是它其实是个分类算法。取名逻辑回归主要是因为是从线性回归转变而来的。　　logistic回归，又叫对数几率回归。2logistic回归和线性回归的关系2.1线性回归模型　　首先给... 查看详情

[机器学习]--逻辑回归总结

逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原... 查看详情

机器学习系列7基于python的scikit-learn库构建逻辑回归模型(代码片段)

课前测验本文所用数据免费下载在本文中，你将学习：0用于数据可视化的新库1逻辑回归原理及技术目录一、内容介绍二、理论知识1.分类与回归的区别2.逻辑回归与其他回归的区别3.逻辑回归的数学原理①逻辑回归基本原... 查看详情

andrewng机器学习：逻辑回归

1.逻辑回归解决什么问题？逻辑回归用于分类问题。对于二分类问题，输入多个特征，输出为是或不是（也可以写作1或0）。逻辑回归就是这样一个用于分类的模型。2.什么是逻辑回归？逻辑回归建立在线性回归的基础上。首先，... 查看详情

《机器学习技法》---支持向量回归

1核型岭回归首先，岭回归的形式如下：在《核型逻辑回归》中我们介绍过一个定理，即以上这种形式的问题，求得的w都能表示为z的线性组合：因此我们把w代入，问题就转化为求β的问题，同时引入核技巧：求解这个问题，... 查看详情