正文

分类算法-逻辑回归与二分类(代码片段)

靠谱杨  靠谱杨  2022-10-21  217

关键词：

分类算法-逻辑回归与二分类

1、逻辑回归的应用场景

广告点击率
是否为垃圾邮件
是否患病
金融诈骗
虚假账号

看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器

2、逻辑回归的原理

2.1 输入

逻辑回归的输入就是一个线性回归的结果，然后把这个结果映射到0-1之间。

2.2 激活函数

分析
- 回归的结果输入到sigmoid函数当中
- 输出结果：[0, 1]区间中的一个概率值，默认为0.5为阈值

逻辑回归最终的分类是通过属于某个类别的概率值来判断是否属于某个类别，并且这个类别默认标记为1(正例),另外的一个类别会标记为0(反例)。（方便损失计算）

输出结果解释(重要)：假设有两个类别A，B，并且假设我们的概率值为属于A(1)这个类别的概率值。现在有一个样本的输入到逻辑回归输出结果0.6，那么这个概率值超过0.5，意味着我们训练或者预测的结果就是A(1)类别。那么反之，如果得出结果为0.3那么，训练或者预测结果就为B(0)类别。

2.3 损失以及优化

2.3.1 对数似然损失

逻辑回归的损失，称之为对数似然损失，公式如下：

我们已经知道，log(P), P值越大，结果越小，所以我们可以对着这个损失的式子去分析

2.3.2 优化

同样使用梯度下降优化算法，去减少损失函数的值。这样去更新逻辑回归前面对应算法的权重参数，提升原本属于1类别的概率，降低原本是0类别的概率。

3、逻辑回归API

sklearn.linear_model.LogisticRegression(solver=\'liblinear\', penalty=‘l2’, C = 1.0)
- solver:优化求解方式（默认开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数）
  - sag：根据数据集自动选择，随机平均梯度下降
- penalty：正则化的种类
- C：正则化力度

默认将类别数量少的当做正例

LogisticRegression方法相当于 SGDClassifier(loss="log", penalty=" "),SGDClassifier实现了一个普通的随机梯度下降学习，也支持平均随机梯度下降法（ASGD），可以通过设置average=True。而使用LogisticRegression(实现了SAG)

4、案例：癌症分类预测-良／恶性乳腺癌肿瘤预测

数据介绍

原始数据的下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/

数据描述

（1）699条样本，共11列数据，第一列用语检索的id，后9列分别是与肿瘤

相关的医学特征，最后一列表示肿瘤类型的数值。

（2）包含16个缺失值，用”?”标出。

4.1 分析

缺失值处理
标准化处理
逻辑回归预测

4.2 代码

def logisticregression():
    """
    逻辑回归进行癌症预测
    :return: None
    """
    # 1、读取数据，处理缺失值以及标准化
    column_name = [\'Sample code number\', \'Clump Thickness\', \'Uniformity of Cell Size\', \'Uniformity of Cell Shape\',
                   \'Marginal Adhesion\', \'Single Epithelial Cell Size\', \'Bare Nuclei\', \'Bland Chromatin\',
                   \'Normal Nucleoli\', \'Mitoses\', \'Class\']

    data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
                       names=column_name)

    # 删除缺失值
    data = data.replace(to_replace=\'?\', value=np.nan)

    data = data.dropna()

    # 取出特征值
    x = data[column_name[1:10]]

    y = data[column_name[10]]

    # 分割数据集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

    # 进行标准化
    std = StandardScaler()

    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 使用逻辑回归
    lr = LogisticRegression()

    lr.fit(x_train, y_train)

    print("得出来的权重：", lr.coef_)

    # 预测类别
    print("预测的类别：", lr.predict(x_test))

    # 得出准确率
    print("预测的准确率:", lr.score(x_test, y_test))
    return None

返回结果：

得出来的权重： [[1.52208964 0.07495703 0.81846456 0.74113955 0.14261545 1.06740282
  1.19233134 0.70059655 0.69993072]]
预测的类别： [2 2 4 2 4 2 4 2 4 2 2 2 2 4 2 2 2 2 2 2 2 2 2 4 2 2 2 2 4 4 2 4 2 2 2 4 2
 4 4 4 2 4 2 4 2 2 2 2 2 2 4 4 2 4 2 4 2 2 2 2 2 4 4 2 4 2 4 2 2 4 2 4 2 4
 4 2 4 4 4 2 4 2 2 4 4 2 4 4 2 2 4 2 4 2 2 4 2 4 4 2 4 2 2 2 2 2 4 2 2 2 4
 4 2 2 2 2 2 4 4 2 2 2 2 2 2 4 4 4 2 2 2 2 2 2 2 2 2 4 4 4 2 4 4 4 2 2 2 2
 2 2 2 4 2 2 2 2 2 2 2 2 2 2 2 2 4 2 4 4 2 4 2 2 4 4 4 4 2 2 2 2 4 2 2 4 4
 4 4 4 4 2 4 2 2 4 2 4 2 2 4 2 4 2 2 2 4]
预测的准确率: 0.9804878048780488

5、分类的评估方法

5.1 精确率与召回率

5.1.1混淆矩阵

在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

![image-20220404225416011]

5.1.2 精确率(Precision)与召回率(Recall)

精确率：预测结果为正例样本中真实为正例的比例（了解）

召回率：真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）

5.1.3 分类评估报告API

sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
- y_true：真实目标值
- y_pred：估计器预测目标值
- labels:指定类别对应的数字
- target_names：目标类别名称
- return：每个类别精确率与召回率

print("精确率和召回率为：", classification_report(y_test, lr.predict(x_test), labels=[2, 4], target_names=[\'良性\', \'恶性\']))

假设这样一个情况，如果99个样本癌症，1个样本非癌症，不管怎样我全都预测正例(默认癌症为正例),准确率就为99%但是这样效果并不好，这就是样本不均衡下的评估问题

问题：如何衡量样本不均衡下的评估？

5.2 ROC曲线与AUC指标

ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。ROC曲线的面积就是AUC（Area Under the Curve）。AUC用于衡量“二分类问题“机器学习算法性能（泛化能力）。

5.2.1 知道TPR与FPR

TPR = TP / (TP + FN)
- 所有真实类别为1的样本中，预测类别为1的比例
FPR = FP / (FP + FN)
- 所有真实类别为0的样本中，预测类别为1的比例

5.2.2 ROC曲线

ROC曲线的横轴就是FPRate，纵轴就是TPRate，当二者相等时，表示的意义则是：对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的，此时AUC为0.5

5.2.3 AUC指标

AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率
AUC的最小值为0.5，最大值为1，取值越高越好
AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

最终AUC的范围在[0.5, 1]之间，并且越接近1越好

5.2.4 AUC计算API

from sklearn.metrics import roc_auc_score
- sklearn.metrics.roc_auc_score(y_true, y_score)
  - 计算ROC曲线面积，即AUC值
  - y_true:每个样本的真实类别，必须为0(反例),1(正例)标记
  - y_score:每个样本预测的概率值

# 0.5~1之间，越接近于1约好
y_test = np.where(y_test > 2.5, 1, 0)

print("AUC指标：", roc_auc_score(y_test, lr.predict(x_test)))

案例（逻辑回归进行癌症预测）

def logisticregression():
    """
    逻辑回归进行癌症预测
    :return: None
    """
    # 1、读取数据，处理缺失值以及标准化
    column_name = [\'Sample code number\', \'Clump Thickness\', \'Uniformity of Cell Size\', \'Uniformity of Cell Shape\',
                   \'Marginal Adhesion\', \'Single Epithelial Cell Size\', \'Bare Nuclei\', \'Bland Chromatin\',
                   \'Normal Nucleoli\', \'Mitoses\', \'Class\']

    data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
                       names=column_name)

    # 删除缺失值
    data = data.replace(to_replace=\'?\', value=np.nan)

    data = data.dropna()

    # 取出特征值
    x = data[column_name[1:10]]

    y = data[column_name[10]]

    # 分割数据集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3)

    # 进行标准化
    std = StandardScaler()

    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 使用逻辑回归
    lr = LogisticRegression()

    lr.fit(x_train, y_train)

    print("得出来的权重：", lr.coef_)

    # 预测类别
    print("预测的类别：", lr.predict(x_test))

    # 得出准确率
    print("预测的准确率:", lr.score(x_test, y_test))

    print("精确率和召回率为：", classification_report(y_test, lr.predict(x_test), labels=[2, 4], target_names=[\'良性\', \'恶性\']))

    # 0.5~1之间，越接近于1约好
    y_test = np.where(y_test > 2.5, 1, 0)

    print("AUC指标：", roc_auc_score(y_test, lr.predict(x_test)))
    return None

返回结果：

得出来的权重： [[1.18088011 0.17960576 0.64716029 0.84256205 0.13629304 1.40238555
  1.05954948 0.68190687 0.86153865]]
预测的类别： [4 4 2 2 4 2 4 2 2 2 2 2 2 4 4 4 2 4 2 4 2 2 4 2 2 2 2 2 2 4 2 4 2 2 2 2 2
 2 4 2 4 2 2 2 4 2 2 2 2 2 2 4 4 2 2 2 2 2 2 2 4 2 4 2 2 2 2 2 4 2 4 2 2 2
 2 4 4 2 4 2 2 2 4 2 2 4 4 2 2 2 2 4 2 2 2 2 4 2 2 2 2 2 2 2 2 2 2 4 4 2 2
 2 4 2 2 2 4 2 2 2 4 2 2 2 2 4 2 4 2 2 2 4 2 2 2 4 2 2 2 2 2 4 2 2 2 2 2 2
 2 4 4 2 2 4 2 2 2 2 2 4 4 4 4 2 2 2 2 2 2 2 2 2 2 2 4 4 2 2 2 4 2 2 4 4 2
 4 4 4 4 4 4 4 4 2 2 2 2 2 2 2 4 2 4 4 4]
预测的准确率: 0.9707317073170731
精确率和召回率为：               precision    recall  f1-score   support

          良性       0.98      0.98      0.98       142
          恶性       0.95      0.95      0.95        63

    accuracy                           0.97       205
   macro avg       0.97      0.97      0.97       205
weighted avg       0.97      0.97      0.97       205

AUC指标： 0.965627095908786

5.2.5 小结

AUC只能用来评价二分类
AUC非常适合评价样本不平衡中的分类器性能

注：参考了黑马程序员的资料

逻辑回归|机器学习|分类算法(代码片段)

...数几率回归，是一种对数几率模型，可以求解二分类问题。∙\\bullet∙之前我们学习过线性回归模型，带入模型后每一个点都有一个对应的实查看详情

用二项逻辑斯蒂回归解决二分类问题(代码片段)

逻辑斯蒂回归:逻辑斯蒂回归是统计学习中的经典分类方法，属于对数线性模型。logistic回归的因变量可以是二分类的，也可以是多分类的基本原理logistic分布折X是连续的随机变量，X服从logistic分布是指X具有下列分布函数和密度... 查看详情

分类算法之逻辑回归--理论+案例+代码

分类算法之逻辑回归–理论+案例+代码标签（空格分隔）：SPARK机器学习1.逻辑回归概述1.1概述逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族，差异主... 查看详情

机器学习--逻辑回归的原理与基础实现(代码片段)

...字中带有“回归”两个字，但是它最擅长处理的却是分类问题。LR分类器适用于各项广义上的分类任务，例如：评论信息的正负情感分析（二分类）、用户点击率（二分类）、用户违约信息预测（二... 查看详情

sparkmllib学习分类算法之逻辑回归算法

SparkMLlib学习分类算法之逻辑回归算法（一），逻辑回归算法的概念（参考网址：http://blog.csdn.net/sinat_33761963/article/details/51693836）　　　　逻辑回归与线性回归类似，但它不属于回归分析家族（主要为二分类），而属于分类家族... 查看详情

python逻辑回归（logisticregressionlr)底层代码实现bgd梯度下降算法softmax多分类

逻辑回归前面用sigmoid函数实现了基本逻辑回归的二分类，感兴趣的童鞋点击###python逻辑回归（logisticregressionLR)底层代码实现BGD梯度下降算法二分类#####了解sigmoid二分类逻辑回归>>目录逻辑回归前言一、多0-1分类器1.OVO... 查看详情

机器学习分类算法之逻辑回归(代码片段)

...,属于监督学习算法，需要打标数据，可以用在回归、二分类和多分类等问题上,最常用的是二分类。线性回归就是通过一条曲线区分不同的数据集，在二分类问题上会有一条直线对其进行区分，如下：逻辑回归需要每组数据都是... 查看详情

机器学习-逻辑回归与线性回归(代码片段)

...项分布，就是logistic回归。logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更加容易解释。所以实际中最为常用的就是二分类的logistic回归。而逻辑回归是用于分类问题，线性回归才是用于回... 查看详情

sklearn机器学习基础（day02基础入门篇）(代码片段)

...算法使用（Sklearn)算子API调用分步曲数据分析分步曲分类算法KNN算法网格优化KNN案例（预测facebook签到位置）数据清洗KNN处理预测完整代码朴素贝叶斯算法决策树案例可视化决策树随机森林回归与聚类算法线性回归正... 查看详情

logistic回归分类算法原理分析与代码实现

...bsp; 1.逻辑回归的计算代价不高，是很常用的分类算法。集中基于随机梯度上升的逻辑回归分类器能够支持在线学习。 2.但逻辑回归算法缺点很明显-一般只能解决两个类的分类问题。 &nb... 查看详情

逻辑回归理解及代码实现

...回归??《机器学习实战》一书中提到：利用逻辑回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类（主要用于解决二分类问题）。??由以上描述我们大概可以想到，对于使用逻辑回归进行分类... 查看详情

机器学习---逻辑回归（machinelearninglogisticregressionii）

...cRegressionI）》一文中，我们讨论了如何用逻辑回归解决二分类问题以及逻辑回归算法的本质。现在来看一下多分类的情况。现实中相对于二分类问题，我们更常遇到的是多分类问题。多分类问题如何求解呢？有两种方式。一... 查看详情

机器学习逻辑回归算法(代码片段)

....3.1损失1.3.2优化1.4小结2.逻辑回归api介绍3.案例：癌症分类预测-良／恶性乳腺癌肿瘤预测3.1背景介绍3.2案例分析3.3代码实现4.分类评估方法4.1分类评估方法4.1.1精确率与召回率4.1.1.1混淆矩阵4.1.1. 查看详情

6.逻辑归回(代码片段)

...变量必须是连续性数据变量；逻辑回归要求因变量必须是分类变量，二分类或者多分类的。2.自述一下什么是过拟合和欠拟合？一般来说拟合的函数和训练集误差较大为欠拟合拟合的函数完美的匹配训练集数据过拟合3.思考一下... 查看详情

逻辑回归算法实现_基于r语言(代码片段)

...换，也就是因为这个转换，使逻辑回归模型非常适用于二分类问题的概率预测。本文主要详述逻辑回归模型的基础以及逻辑回归模型的R语言实现。一、逻辑回归模型原理首先要讲一下线性回归在预测分类事件中的缺点:线性回归... 查看详情

2.逻辑回归关于二分类问题的理解

1.问题引入总括：逻辑回归其实就是将分类问题数学化，也就是将类别的现象用具体的函数去刻画。现象：如下图，就是一个二分类的具体现象，我们总可以找到一条曲线（判定边界）将两种现象或者特征分割开来.　　2.问题求... 查看详情

算法之逻辑回归

...广义的线性回归分析模型，logistic回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用。一、逻辑回归定义假设在多个独立自变量??1，??2，…作用下，记y取1的概率是p=P(y=1|X)，取0的概率则为1-p取1和取0的概... 查看详情

第九节，线性逻辑回归(代码片段)

一般来说，回归不用在分类问题上，因为回归是连续型模型，而且受噪声影响比较大。如果非要应用进入，可以使用logistic回归。logistic回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性... 查看详情

正文