正文

《机器学习实战》学习笔记：logistic回归(代码片段)

我是管小亮  我是管小亮  2023-03-04  251

关键词：

欢迎关注WX公众号：【程序员管小亮】

【机器学习】《机器学习实战》读书笔记及代码总目录

https://blog.csdn.net/TeFuirnever/article/details/99701256

GitHub代码地址：

https://github.com/TeFuirnever/Machine-Learning-in-Action

——————————————————————————————————————————————————————

本章内容

Sigmoid函数和Logistic回归分类器
最优化理论初步
梯度下降最优化算法
数据中的缺失项处理

这会是激动人心的一章，因为会首次接触到 最优化算法。仔细想想就会发现，其实日常生活中遇到过很多最优化问题，比如如何在最短时间内从A点到达B点？如何投入最少工作量却获得最大的效益？如何设计发动机使得油耗最少而功率最大？可见，最优化的作用十分强大。接下来会介绍几个最优化算法，并利用它们训练出一个非线性函数用于分类。

1、Logistic 回归

假设现在有一些数据点，用一条直线对这些点进行拟合（该线称为 最佳拟合直线），这个拟合过程就称作回归。

利用 Logistic回归 进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到 最佳拟合参数集，其背后的数学分析将在下一部分介绍。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

Logistic回归的一般过程
(1) 收集数据：采用任意方法收集数据。
(2) 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。
(3) 分析数据：采用任意方法对数据进行分析。
(4) 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5) 测试算法：一旦训练步骤完成，分类将会很快。
(6) 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别；在这之后，我们就可以在输出的类别上做一些其他分析工作。

Logistic回归的因变量可以是二分类的，也可以是多分类的，但是实际中最为常用的就是二分类的Logistic回归。它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。其实，Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。

Logistic回归
优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。

2、基于Logistic 回归和Sigmoid 函数的分类

为什么利用的是Sigmoid函数呢？

首先我们想要的函数应该是，能接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0或1。或许你之前接触过具有这种性质的函数，该函数称为 海维塞德阶跃函数（Heaviside step function），或者直接称为 单位阶跃函数。然而，海维塞德阶跃函数的问题在于：该函数在跳跃点上从0瞬间跳跃到1，这个瞬间跳跃过程有时很难处理。

幸好，另一个函数也有类似的性质（可以输出0或者1），且数学上更易处理，这就是Sigmoid函数。Sigmoid函数具体的计算公式如下：

如图中上图给出了Sigmoid函数在不同坐标尺度下的两条曲线图。当x为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标刻度足够大（图中下图），Sigmoid函数看起来很像一个阶跃函数。

因此，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，Logistic回归也可以被看成是一种概率估计。确定了分类器的函数形式之后，那么现在的问题变成了：最佳回归系数是多少？如何确定它们的大小？

3、梯度上升算法

Sigmoid函数的输入记为z，由下面公式得出：

如果采用向量的写法，上述公式可以写成 $z = w^Tx$ ，它表示将这两个数值向量对应元素相乘然后全部加起来即得到z值。其中的向量x是分类器的输入数据，向量w也就是我们要找到的最佳参数（系数），从而使得分类器尽可能地精确。为了寻找该最佳参数，需要用到最优化理论的一些知识。本文使用梯度上升算法进行求解。

那么什么是梯度上升算法？梯度上升法基于的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为∇，则函数f(x,y)的梯度由下式表示：

这是机器学习中最易造成混淆的一个地方，但在数学上并不难，需要做的只是牢记这些符号的意义。这个梯度意味着要沿x的方向移动，沿y的方向移动。其中，函数f (x,y)必须要在待计算的点上有定义并且可微。一个具体的函数例子见下图：

上图中的梯度上升算法沿梯度方向移动了一步。可以看到，梯度算子总是指向函数值增长最快的方向。这里所说的是移动方向，而未提到移动量的大小。该量值称为步长，记做α。用向量来表示的话，梯度上升算法的迭代公式如下：

该公式将一直被迭代执行，直至达到某个停止条件为止，比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。

梯度下降算法
你最经常听到的应该是梯度下降算法，它与这里的梯度上升算法是一样的，只是公式中的加法需要变成减法。因此，对应的公式可以写成

梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。

4、基于最优化方法的最佳回归系数确定

1）查看数据的分布情况

这是一个简单的没什么实际含义的数据集，先看一些具体的数据是怎么样的：

这个数据有两维特征，因此可以在一个二维平面上展示。首先将第一列数据(X1)看作x轴上的值，然后第二列数据(X2)看作y轴上的值，最后把最后一列数据即为分类标签。根据标签的不同，对这些点进行分类。

import matplotlib.pyplot as plt
import numpy as np

"""
Parameters:
    无
Returns:
    dataMat - 数据列表
    labelMat - 标签列表
"""
# 函数说明:加载数据
def loadDataSet():
    dataMat = []                                                        #创建数据列表
    labelMat = []                                                       #创建标签列表
    fr = open('testSet.txt')                                            #打开文件   
    for line in fr.readlines():                                         #逐行读取
        lineArr = line.strip().split()                                  #去回车，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])     #添加数据
        labelMat.append(int(lineArr[2]))                                #添加标签
    fr.close()                                                          #关闭文件
    return dataMat, labelMat                                            #返回

# 函数说明:绘制数据集
def plotDataSet():
    dataMat, labelMat = loadDataSet()                                   #加载数据集
    dataArr = np.array(dataMat)                                         #转换成numpy的array数组
    n = np.shape(dataMat)[0]                                            #数据个数
    xcord1 = []; ycord1 = []                                            #正样本
    xcord2 = []; ycord2 = []                                            #负样本
    for i in range(n):                                                  #根据数据集标签进行分类
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i,1]); ycord1.append(dataArr[i,2])    #1为正样本
        else:
            xcord2.append(dataArr[i,1]); ycord2.append(dataArr[i,2])    #0为负样本
    fig = plt.figure()
    ax = fig.add_subplot(111)                                           #添加subplot
    ax.scatter(xcord1, ycord1, s = 20, c = 'red', marker = 's',alpha=.5)#绘制正样本
    ax.scatter(xcord2, ycord2, s = 20, c = 'green',alpha=.5)            #绘制负样本
    plt.title('DataSet')                                                #绘制title
    plt.xlabel('x'); plt.ylabel('y')                                    #绘制label
    plt.show()                                                          #显示


if __name__ == '__main__':
    plotDataSet()

从上图可以看出我们采用的数据的分布情况。

2）训练算法：使用梯度上升找到最佳参数

数据中有100个样本点，每个点包含两个数值型特征：X1和X2。在此数据集上，通过使用梯度上升法找到最佳回归系数，也就是拟合出Logistic回归模型的最佳参数。

梯度上升法的伪代码如下：

每个回归系数初始化为1
重复R次：
	计算整个数据集的梯度
	使用alpha × gradient更新回归系数的向量
	返回回归系数

具体实现代码如下：

import numpy as np

'''
Parameters:
    无
Returns:
    dataMat - 数据列表
    labelMat - 标签列表
'''
# 函数说明:加载数据
def loadDataSet():
    dataMat = []                                                    #创建数据列表
    labelMat = []                                                   #创建标签列表
    fr = open('testSet.txt')                                        #打开文件   
    for line in fr.readlines():                                     #逐行读取
        lineArr = line.strip().split()                              #去回车，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) #添加数据
        labelMat.append(int(lineArr[2]))                            #添加标签
    fr.close()                                                      #关闭文件
    return dataMat, labelMat                                        #返回

'''
Parameters:
    inX - 数据
Returns:
    sigmoid函数
'''
# 函数说明:sigmoid函数
def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))

'''
Parameters:
    dataMatIn - 数据集
    classLabels - 数据标签
Returns:
'''
# 函数说明:梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)                                  #转换成numpy的mat
    labelMat = np.mat(classLabels).transpose()                      #转换成numpy的mat,并进行转置
    m, n = np.shape(dataMatrix)                                     #返回dataMatrix的大小。m为行数,n为列数。
    alpha = 0.001                                                   #移动步长,也就是学习速率,控制更新的幅度。
    maxCycles = 500                                                 #最大迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)                           #梯度上升矢量化公式
        error = labelMat - h
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights.getA()                                           #将矩阵转换为数组，返回权重数组


if __name__ == '__main__':
    dataMat, labelMat = loadDataSet()           
    print(gradAscent(dataMat, labelMat))

假设Sigmoid函数的输入记为 $z$ ，那么 $z=w_0x_0 + w_1x_1 + w_2x_2$ ，即可将数据分割开。其中， $x_0$ 为全是1的向量， $x_1$ 为数据集的第一列数据， $x_2$ 为数据集的第二列数据。另 $z = 0$ ，则 $0=w_0 + w_1x_1 + w_2x_2$ 。横坐标为 $x_1$ ，纵坐标为 $x_2$ 。这个方程未知的参数为 $w_0，w_1，w_2$ ，也就是我们需要求的回归系数(最优参数)。已经求解出的就是回归系数 $w_0,w_1,w_2]$ ，通过系数就可以确定不同类别数据之间的分割线，画出决策边界。

3）分析数据：画出决策边界

已经解出了一组回归系数。现在开始绘制这个分隔线：

import matplotlib.pyplot as plt
import numpy as np

'''
Parameters:
    无
Returns:
    dataMat - 数据列表
    labelMat - 标签列表
'''
# 函数说明:加载数据
def loadDataSet():
    dataMat = []                                                    #创建数据列表
    labelMat = []                                                   #创建标签列表
    fr = open('testSet.txt')                                        #打开文件   
    for line in fr.readlines():                                     #逐行读取
        lineArr = line.strip().split()                              #去回车，放入列表
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) #添加数据
        labelMat.append(int(lineArr[2]))                            #添加标签
    fr.close()                                                      #关闭文件
    return dataMat, labelMat                                        #返回

'''
Parameters:
    inX - 数据
Returns:
    sigmoid函数
'''
# 函数说明:sigmoid函数
def sigmoid(inX):
    return 1.0 / (1 + np.exp(-inX))

'''
Parameters:
    dataMatIn - 数据集
    classLabels - 数据标签
Returns:
    weights.getA() - 求得的权重数组(最优参数)
'''
# 函数说明:梯度上升算法
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)                                  #转换成numpy的mat
    labelMat = np.mat(classLabels).transpose()                      #转换成numpy的mat,并进行转置
    m, n = np.shape(dataMatrix)                                     #返回dataMatrix的大小。m为行数,n为列数。
    alpha = 0.001                                                   #移动步长,也就是学习速率,控制更新的幅度。
    maxCycles = 500                                                 #最大迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)                           #梯度上升矢量化公式
        error = labelMat - h
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights.getA()                                           #将矩阵转换为数组，返回权重数组

'''
Parameters:
    weights - 权重参数数组
Returns:
    无
'''
# 函数说明:绘制数据集
def plotBestFit(weights):
    dataMat, labelMat = loadDataSet()                                   #加载数据集
    dataArr = np《机器学习实战》学习笔记：logistic回归(代码片段)
欢迎关注WX公众号：【程序员管小亮】【机器学习】《机器学习实战》读书笔记及代码总目录https://blog.csdn.net/TeFuirnever/article/details/99701256GitHub代码地址：https://github.com/TeFuirnever/Machine-Learning-in-Action——————————...  查看详情  
                
ng机器学习视频笔记——logistic回归
ng机器学习视频笔记（四）——logistic回归 （转载请附上本文链接——linhxx） 一、概述1、基本概念        logistic回归（logisticregression），是一个分类（classification）算法（注意不是回归算法，...  查看详情  
                
机器学习实战第5章logistic回归
第5章Logistic回归Logistic回归概述Logistic回归虽然名字叫回归，但是它是用来做分类的。其主要思想是:根据现有数据对分类边界线建立回归公式，以此进行分类。须知概念Sigmoid函数回归概念假设现在有一些数据点，我们用一条直线...  查看详情  
                
[机器学习实战]logistic回归
1.Logistic回归：　　1）优点：计算代价不高，易于理解和实现；　　2）缺点：容易欠拟合，分类精度可能不高；　　3）适用数据类型：数值型和标称型数据； 2.分类思想：　　根据现有数据对分类边界线建立回归公式，以此...  查看详情  
                
机器学习实战精读--------logistic回归
Logistic回归的主要目的：寻找一个非线性函数sigmod最佳的拟合参数拟合、插值和逼近是数值分析的三大工具回归：对一直公式的位置参数进行估计拟合：把平面上的一些系列点，用一条光滑曲线连接起来logistic主要思想：根据现...  查看详情  
                
[机器学习实战-logistic回归]使用logistic回归预测各种实例(代码片段)
[机器学习实战-Logistic回归]使用Logistic回归预测各种实例目录[机器学习实战-Logistic回归]使用Logistic回归预测各种实例本实验代码已经传到gitee上，请点击查收！一、实验目的二、实验内容与设计思想实验内容设计思想三、实验使...  查看详情  
                
机器学习实战第五章logistic回归(代码片段)
defgradAscent(dataMatIn,classLabels):dataMatrix=mat(dataMatIn)#converttoNumPymatrixlabelMat=mat(classLabels).transpose()#converttoNumPymatrixm,n=shape(dataMatrix)alpha=0.001maxCycles=500weights=ones((  查看详情  
                
机器学习笔记—logistic回归
本文申明：本系列笔记全部为原创内容，如有转载请申明原地址出处。谢谢序言：whatislogisticregression?Logistics一词表示adj.逻辑的;[军]后勤学的n.[逻]数理逻辑;符号逻辑;[军]后勤学，“回归”是由英国著名生物学家兼统计学家...  查看详情  
                
机器学习实战------利用logistics回归预测病马死亡率
...战部分一直托更，很不好意思。本文实验数据与代码来自机器学习实战这本书，倾删。一：前期代码准备1.1数据预处理还是一样，设置两个数组，前两个作为特征值，后一个作为标签。当然这是简单的处理，实际开发中特征值都...  查看详情  
                
机器学习实战四（logisticregression）
机器学习实战四（LogisticRegression）这一章会初次接触最优化算法，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。Logistic回归优点：计算代价不高，易于理解和实现缺点：容易欠拟合...  查看详情  
                
机器学习实战　logistic回归(代码片段)
logistic回归梯度上升法importnumpyasnp"""function:加载数据parameter:无returns:dataMat-数据集labelMat-标签集"""defloadDataSet():dataMat=[]#数据集labelMat=[]#标签集fr=open('testSet.txt')forlineinfr.readlines():lineArr=line.strip().split()dat...  查看详情  
                
机器学习实战之logistic回归
...2.logistic回归分类函数  一、概述　　分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中，大约70%的问题属于分类问题。解决分类问题的算法也有很多种，比如  查看详情  
                
机器学习基础笔记一
监督学习非监督学习：学习结构化知识强化学习 监督学习:线性回归模型：输出y是连续的Logistic回归模型（实际上不是回归问题，是分类问题）：输出y是0，1离散的 Logistic回归模型：Sigmoid函数：将任何输入变成0与1之间的...  查看详情  
                
机器学习logistic回归---学习笔记
Logistic回归学习笔记Logistic回归学习线路预备知识：建议先去B站学习一下信息量，熵，BL散度，交叉熵的概念。Logistic回归的函数模型损失最小化架构分类函数最大概率分类函数阈值分类函数Logistic回归的优化算法...  查看详情  
                
《机器学习实战》笔记——逻辑回归
书上没有给具体的逻辑回归的课程，就直接上了代码，这很不好！可以参考ng的课程，或者看这篇博文：http://blog.csdn.net/wlmnzf/article/details/72855610?utm_source=itdadao过程还是比较浅显易懂的，就没怎么备注了。1#_*_coding:utf-8_*_23fromnumpyi...  查看详情  
                
机器学习实战笔记-预测数值型数据:回归
8.1用线性回归找到最佳拟合直线线性回归 优点：结果易于理解，计算上不复杂。 缺点：对非线性的数据拟合不好。 适用数据类型：数值型和标称型数据。回归的目的是预测数值型的目标值。最直接的办法是依据输人...  查看详情  
                
机器学习：logistic回归原理及其实现
Logistic回归是机器学习中非常经典的一个方法，主要用于解决二分类问题，它是多分类问题softmax的基础，而softmax在深度学习中的网络后端做为常用的分类器，接下来我们将从原理和实现来阐述该算法的思想。1.原理a.问题描述考...  查看详情  
                
吴恩达机器学习学习笔记——2.7第一个学习算法=线性回归+梯度下降
梯度下降算法：　　　　　　　　　　　　　　线性回归模型：　　　　　　线性假设：　　　　　　　　　　　　　　　　　　　　　平方差成本函数：将各个公式代入，对θ0、θ1分别求偏导得：再将偏导数代入梯度下降算法...  查看详情

正文

《机器学习实战》学习笔记：logistic回归(代码片段)

欢迎关注WX公众号：【程序员管小亮】

目录

本章内容

1、Logistic 回归

2、基于Logistic 回归和Sigmoid 函数的分类

3、梯度上升算法

4、基于最优化方法的最佳回归系数确定

1）查看数据的分布情况

2）训练算法：使用梯度上升找到最佳参数

3）分析数据：画出决策边界

ng机器学习视频笔记——logistic回归

机器学习实战第5章logistic回归

[机器学习实战]logistic回归

机器学习实战精读--------logistic回归

[机器学习实战-logistic回归]使用logistic回归预测各种实例(代码片段)

机器学习实战第五章logistic回归(代码片段)

机器学习笔记—logistic回归

机器学习实战------利用logistics回归预测病马死亡率

机器学习实战四（logisticregression）

机器学习实战 logistic回归(代码片段)

机器学习实战之logistic回归

机器学习基础笔记一

机器学习logistic回归---学习笔记

《机器学习实战》笔记——逻辑回归

机器学习实战笔记-预测数值型数据:回归

机器学习：logistic回归原理及其实现

吴恩达机器学习学习笔记——2.7第一个学习算法=线性回归+梯度下降

机器学习实战　logistic回归(代码片段)