正文

机器学习分类算法评价指标(代码片段)

苍老流年  苍老流年  2023-04-03  369

关键词：

一. 分类评价指标

对机器学习算法的性能进行评估时，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价指标，这就是算法评价指标。分类算法的评价指标一般有准确率，精确率，召回率，F1-score，PR曲线，ROC，AUC。

在介绍具体的评价指标前，需要先以二分类为例引入混淆矩阵。

混淆矩阵

针对一个二分类问题，即将实例分成正类（positive）或反类（negative），在实际分类中会出现以下四种情况：
（1）若一个样本是正类，并且被预测为正类，即为真正类TP(True Positive )
（2）若一个样本是正类，但是被预测为反类，即为假反类FN(False Negative )
（3）若一个样本是反类，但是被预测为正类，即为假正类FP(False Positive )
（4）若一个样本是反类，并且被预测为反类，即为真反类TN(True Negative )

混淆矩阵的每一行是样本的预测分类，每一列是样本的真实分类，如下图所示。

二. 准确率(accuracy)，精确率(precision)，召回率(recall)，F1-score

1. 准确率(accuracy)

精确率是预测正确的样本占所有样本的百分比。
$\\fracTP + TNTP + FP +TN + FN$

局限：当数据的正负样本不均衡，仅仅使用这个指标来评价模型的性能优劣是不合适的。

假如一个测试集有正样本99个，负样本1个。模型把所有的样本都预测为正样本，那么模型的Accuracy为99%，看评价指标，模型的效果很好，但实际上模型没有任何预测能力。

2. 精确率(precision)

又叫查准率，它是模型预测为正样本的结果中，真正为正样本的比例。
$precision=\\fracTPTP + FP$

3. 召回率(recall)

又叫查全率，它是实际为正的样本中，被预测为正样本的比例。
$recall=\\fracTPTP + FN$

4. F1-score

F1-score是precision和recall的调和平均值。
$=\\frac2 * Precision * Recall Precision + Recall$

5. 编码实现

import numpy as np
from sklearn import datasets
import warnings
warnings.filterwarnings("ignore")

digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()

y[digits.target == 9] = 1
y[digits.target != 9] = 0

x.shape

(1797, 64)

y.shape

(1797,)

from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=666)

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression()
log_reg.fit(x_train, y_train)
y_log_predict = log_reg.predict(x_test)
log_reg.score(x_test, y_test)

0.9755555555555555

#### 手动计算混淆矩阵
def TN(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true ==0) & (y_predict == 0))
TN(y_test, y_log_predict)

def FP(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true ==0) & (y_predict == 1))
FP(y_test, y_log_predict)

def FN(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true ==1) & (y_predict == 0))
FN(y_test, y_log_predict)

def TP(y_true, y_predict):
    assert len(y_true) == len(y_predict)
    return np.sum((y_true ==1) & (y_predict == 1))
TP(y_test, y_log_predict)

def my_confusion_matrix(y_true, y_predict):
    return np.array([
        [TN(y_true, y_predict),FP(y_true, y_predict)],
        [FN(y_true, y_predict),TP(y_true, y_predict)]
    ])
my_confusion_matrix(y_test, y_log_predict)

array([[403,   2],
       [  9,  36]])

# 使用sklearn 提供的api计算混淆矩阵

from sklearn.metrics import confusion_matrix
confusion_matrix(y_test, y_log_predict)

array([[403,   2],
       [  9,  36]])

#手动计算precision
def my_precision_score(y_true, y_predict):
    return TP(y_true, y_predict) / (TP(y_true, y_predict) + FP(y_true, y_predict))

my_precision_score(y_test, y_log_predict)

0.9473684210526315

# 使用sklearn提供的api计算precision
from sklearn.metrics import precision_score
precision_score(y_test, y_log_predict)

0.9473684210526315

#手动计算recall
def my_recall_score(y_true, y_predict):
    return TP(y_true, y_predict) / (TP(y_true, y_predict) + FN(y_true, y_predict))

my_recall_score(y_test,y_log_predict)

0.8

#使用sklearn 提供的api计算recall
from sklearn.metrics import recall_score
recall_score(y_test, y_log_predict)

0.8

# 手动计算F1-score
def my_f1_score(precision, recall):
    try:
        return 2 * precision * recall / (precision + recall)
    except:
        return 0.0
my_f1_score(precision_score(y_test, y_log_predict), recall_score(y_test, y_log_predict))

0.8674698795180723

# 使用sklearn 提供的api计算F1-score
from sklearn.metrics import f1_score
f1_score(y_test, y_log_predict)

0.8674698795180723

三. PR曲线

1. PR曲线

P-R曲线是描述精确率和召回率变化的曲线。对于所有的正样本，设置不同的阈值，模型预测所有的正样本，再根据对应的精准率和召回率绘制相应的曲线。

一般情况下一个分类模型不可能同时获得高的精准率与召回率，当精准率较高时，召回率会降低；当召回率较高时，精准率会降低。

模型与坐标轴围成的面积越大，则模型的性能越好。但一般来说，曲线下的面积是很难进行估算的，所以衍生出了“平衡点”（Break-Event Point，简称BEP），即当P=R时的取值，平衡点的取值越高，性能更优。

2. 编码实现

import numpy as np
from sklearn import datasets
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")

digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()

y[digits.target == 9] = 1
y[digits.target != 9] = 0

from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=666)

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression()
log_reg.fit(x_train, y_train)
y_log_predict = log_reg.predict(x_test)
log_reg.score(x_test, y_test)

0.9755555555555555

# 获取分类算法的分类阈值
decision_scores = log_reg.decision_function(x_test)

手动绘制PR曲线

from sklearn.metrics import precision_score
from sklearn.metrics import recall_score

precisions = []
recalls = []
thresholds = np.arange(np.min(decision_scores), np.max(decision_scores), 0.1)
for threshold in thresholds:
    y_predict = np.array(decision_scores >= threshold, dtype = 'int')
    precisions.append(precision_score(y_test, y_predict))
    recalls.append(recall_score(y_test, y_predict))
plt.plot(precisions, recalls)

使用sklearn API绘制PR曲线

from sklearn.metrics import precision_recall_curve

precisions1, recalls1, thresholds1 = precision_recall_curve(y_test, decision_scores)
plt.plot(precisions1, recalls1)

四. ROC和AUC

1. ROC曲线

ROC（Receiver Operating Characteristic）曲线，又称接受者操作特征曲线。曲线对应的纵坐标是TPR，横坐标是FPR。下面先介绍下TPR和FPR。

TPR(true positive rate)：真正类率，也称为灵敏度(sensitivity)，等同于召回率。表示被正确分类的正实例占所有正实例的比例。
$TPR=\\fracTPTP + FN$
FPR(false positive rate)：负正类率，表示被错误分类的负实例占所有负实例的比例。
$FPR=\\fracFPFP + TN$

设置不同的阈值，会得到不同的TPR和FPR，而随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着负类，即TPR和FPR会同时增大。阈值最大时，对应坐标点为（0,0），阈值最小时，对应坐标点（1,1）。

理想目标： TPR=1, FPR=0，即图中(0,1)点。故ROC曲线越靠拢(0,1)点，即，越偏离45度对角线越好。对应的就是TPR越大越好，FPR越小越好。

2. AUC

AUC(Area Under Curve)是处于ROC曲线下方的那部分面积的大小。AUC越大，代表模型的性能越好。

一个分类模型的AUC值越大，则认为算法表现的越好。

3. 编码实现

import numpy as np
from sklearn import datasets
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")

digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()

y[digits.target == 9] = 1
y[digits.target != 9] = 0

from sklearn.model_selection import train_test_split

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=666)

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression()
log_reg.fit(x_train, y_train)
y_log_predict = log_reg.predict(x_test)
log_reg.score(x_test, y_test)

0.9755555555555555

# 获取分类算法的分类阈值
decision_scores = log_reg.decision_function(x_test)

使用sklearn API绘制ROC曲线

from sklearn.metrics import roc_curve

fprs1, tprs1, thresholds = roc_curve(y_test, decision_scores)
plt.plot(fprs1, tprs1)

使用sklearn API计算auc的值

from sklearn.metrics import roc_auc_score

roc_auc_score(y_test, decision_scores)

0.9824417009602195

机器学习100天（二十二）：022分类模型评价指标-python实现(代码片段)

机器学习100天！今天讲的是：分类模型评价指标-Python实现！《机器学习100天》完整目录：目录打开spyder，首先，导入标准库。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportaccuracy_scorefromsklearn.metricsimportprecision_scorefromsklear 查看详情

机器学习中常见的评价指标总结(代码片段)

文章目录1.评价指标的种类2.分类任务的评价指标2.1分类任务的一些概念（1）交并率(IoU,IntersectionoverUnion)（2）NMS（3）TP、FP、FN、TN与混淆矩阵2.2准确率(Accuracy)2.3精确率与召回率(Precision，Recall)2.4F1分数2.... 查看详情

机器学习中常见的评价指标总结(代码片段)

机器学习模型的评价指标和方法

http://blog.csdn.net/pipisorry/article/details/52574156衡量分类器的好坏对于二类分类器/分类算法，评价指标主要有accuracy，[precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini系数。对于多类分类器/分类算查看详情

准确理解机器学习算法的常用评价指标

准确理解机器学习算法的常用评价指标一级目录二级目录三级目录一级目录二级目录三级目录查看详情

机器学习100天（十九）：019分类模型评价指标-混淆矩阵

机器学习100天，今天讲的是：分类模型评价指标-混淆矩阵。《机器学习100天》完整目录：目录一、准确率（Accuracy）逻辑回归是一个分类模型，那么对于分类模型，如何评估它的优劣呢？好，我们先来认识一个名词：混淆矩阵（... 查看详情

机器学习100天（十九）：019分类模型评价指标-混淆矩阵

机器学习第二周-模型评价指标（ii）(代码片段)

Python代码实现一·分类模型 1.sklearn.metrics中包含常用的评价指标： #准确率accuracy_score(y_true,y_pred,normalize=True,sample_weight=None) 参数：y_true：验证集y_pred：分类器的返回值normalize：默认值为True，返回... 查看详情

机器学习算法中的评价指标（准确率召回率f值rocauc等）

...的可以查阅周志华的西瓜书第二章，写的非常详细~一、机器学习性能评估指标1.准确率(Accurary) 准确率是我们最常见的评价指标，而且很容易理解，就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越... 查看详情

机器学习——评价指标

整理自：https://blog.csdn.net/woaidapaopao/article/details/77806273?locationnum=9&fps=1分类器的好坏1.分类器的好坏这里首先要知道TP、FN（真的判成假的）、FP（假的判成真）、TN四种（可以画一个表格）。几种常用的指标：精度precision=TP... 查看详情

机器学习算法：分类评估方法(代码片段)

学习目标了解什么是混淆矩阵知道分类评估中的精确率和召回率知道roc曲线和auc指标1.分类评估方法1.1精确率与召回率1.1.1混淆矩阵在分类任务下，预测结果(PredictedCondition)与正确标记(TrueCondition)之间存在四种不同的组合，... 查看详情

机器学习模型评估指标汇总(代码片段)

在使用机器学习算法过程中，针对不同的问题需要不用的模型评估标准，这里统一汇总。主要以两大类分类与回归分别阐述。一、分类问题1、混淆矩阵混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的... 查看详情

机器学习100天（二十）：020分类模型评价指标-pr曲线

机器学习100天！今天讲的是：分类模型评价指标-PR曲线！《机器学习100天》完整目录：目录上一节我们已经了解了混淆矩阵的概念，并掌握了精确率、召回率的计算公式，在这里。现在我们来学习PR曲线的... 查看详情

深度学习分类任务常用评估指标(代码片段)

摘要：这篇文章主要向大家介绍深度学习分类任务评价指标,主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。本文分享自华为云社区《深度学习分类任务常用评估指标》，原文作者：lutianfei。这篇文... 查看详情

机器学习算法分类及其评估指标

机器学习的入门，我们需要的一些基本概念：机器学习的定义M.Mitchell《机器学习》中的定义是：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序从经验E中... 查看详情

机器学习评价分类结果(下)(代码片段)

五、精准率和召回率的平衡Precision-Recall的平衡六、精准率-召回率曲线七、ROC曲线 ReceiverOperationCharacteristicCurve描述TPR 和FPR之间的关系 metrics.pyimportnumpyasnpfrommathimportsqrtdefaccuracy_score(y_true,y_predict):"""计查看详情

无监督聚类算法该如何评价

学过机器学习的小伙伴应该都很清楚：几乎所有的机器学习理论与实战教材里面都有非常详细的理论化的有监督分类学习算法的评价指标。例如：正确率、召回率、精准率、ROC曲线、AUC曲线。但是几乎没有任何... 查看详情

机器学习100天（二十一）：021分类模型评价指标-roc曲线和auc

机器学习100天！今天讲的是：分类模型评价指标-ROC曲线和AUC《机器学习100天》完整目录：目录首先基于混淆矩阵，介绍两个新的概念：真正例率（TPR）和假正例率（FPR）。真正例率是预测为正且实际为正的样本的占所有正例样... 查看详情