正文

机器学习模型评估指标汇总(代码片段)

zongfa  zongfa  2022-12-20  138

关键词：

在使用机器学习算法过程中，针对不同的问题需要不用的模型评估标准，这里统一汇总。主要以两大类分类与回归分别阐述。

一、分类问题

1、混淆矩阵

混淆矩阵是监督学习中的一种可视化工具，主要用于比较分类结果和实例的真实信息。矩阵中的每一行代表实例的预测类别，每一列代表实例的真实类别。

　　　　　　技术分享图片

真正(True Positive , TP)：被模型预测为正的正样本。
假正(False Positive , FP)：被模型预测为正的负样本。
假负(False Negative , FN)：被模型预测为负的正样本。
真负(True Negative , TN)：被模型预测为负的负样本。

真正率(True Positive Rate,TPR)：TPR=TP/(TP+FN)，即被预测为正的正样本数 /正样本实际数。
假正率(False Positive Rate,FPR) ：FPR=FP/(FP+TN)，即被预测为正的负样本数 /负样本实际数。
假负率(False Negative Rate,FNR) ：FNR=FN/(TP+FN)，即被预测为负的正样本数 /正样本实际数。
真负率(True Negative Rate,TNR)：TNR=TN/(TN+FP)，即被预测为负的负样本数 /负样本实际数/2

2、准确率（Accuracy）

准确率是最常用的分类性能指标。
Accuracy = (TP+TN)/(TP+FN+FP+TN)

即正确预测的正反例数 /总数

3、精确率（Precision）

精确率容易和准确率被混为一谈。其实，精确率只是针对预测正确的正样本而不是所有预测正确的样本。表现为预测出是正的里面有多少真正是正的。可理解为查准率。
Precision = TP/(TP+FP)

即正确预测的正例数 /预测正例总数

4、召回率（Recall）

召回率表现出在实际正样本中，分类器能预测出多少。与真正率相等，可理解为查全率。
Recall = TP/(TP+FN)，即正确预测的正例数 /实际正例总数

5、F1 score

F值是精确率和召回率的调和值，更接近于两个数较小的那个，所以精确率和召回率接近时，F值最大。很多推荐系统的评测指标就是用F值的。
2/F1 = 1/Precision + 1/Recall

6、ROC曲线

逻辑回归里面，对于正负例的界定，通常会设一个阈值，大于阈值的为正类，小于阈值为负类。如果我们减小这个阀值，更多的样本会被识别为正类，提高正类的识别率，但同时也会使得更多的负类被错误识别为正类。为了直观表示这一现象，引入ROC。根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve，横坐标为False Positive Rate(FPR假正率)，纵坐标为True Positive Rate(TPR真正率)。一般情况下，这个曲线都应该处于(0,0)和(1,1)连线的上方,如图：

技术分享图片

ROC曲线中的四个点和一条线:
点(0,1)：即FPR=0, TPR=1，意味着FN＝0且FP＝0，将所有的样本都正确分类。
点(1,0)：即FPR=1，TPR=0，最差分类器，避开了所有正确答案。
点(0,0)：即FPR=TPR=0，FP＝TP＝0，分类器把每个实例都预测为负类。
点(1,1)：分类器把每个实例都预测为正类。
总之：ROC曲线越接近左上角，该分类器的性能越好。而且一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting

7、AUC

AUC（Area Under Curve）被定义为ROC曲线下的面积(ROC的积分)，通常大于0.5小于1。随机挑选一个正样本以及一个负样本，分类器判定正样本的值高于负样本的概率就是 AUC 值。AUC值(面积)越大的分类器，性能越好，如图：

技术分享图片

8、PR曲线

PR曲线的横坐标是精确率P，纵坐标是召回率R。评价标准和ROC一样，先看平滑不平滑（蓝线明显好些）。一般来说，在同一测试集，上面的比下面的好（绿线比红线好）。当P和R的值接近时，F1值最大，此时画连接(0,0)和(1,1)的线，线和PRC重合的地方的F1是这条线最大的F1（光滑的情况下），此时的F1对于PRC就好像AUC对于ROC一样。一个数字比一条线更方便调型。

技术分享图片

有时候模型没有单纯的谁比谁好（比如图二的蓝线和青线），所以选择模型还是要结合具体的使用场景。下面是两个场景：
1，地震的预测 对于地震的预测，我们希望的是RECALL非常高，也就是说每次地震我们都希望预测出来。这个时候我们可以牺牲PRECISION。情愿发出1000次警报，把10次地震都预测正确了，也不要预测100次对了8次漏了两次。
2，嫌疑人定罪 基于不错怪一个好人的原则，对于嫌疑人的定罪我们希望是非常准确的。即时有时候放过了一些罪犯（recall低），但也是值得的。

对于分类器来说，本质上是给一个概率，此时，我们再选择一个CUTOFF点（阀值），高于这个点的判正，低于的判负。那么这个点的选择就需要结合你的具体场景去选择。反过来，场景会决定训练模型时的标准，比如第一个场景中，我们就只看RECALL=99.9999%（地震全中）时的PRECISION，其他指标就变得没有了意义。
当正负样本数量差距不大的情况下，ROC和PR的趋势是差不多的，但是在正负样本分布极不均衡的情况下，PRC比ROC更能真实的反映出实际情况，因为此时ROC曲线看起来似乎很好，但是却在PR上效果一般。

二、回归问题

拟合（回归）问题比较简单，所用到的衡量指标也相对直观。假设 $y_{i}$

1. 平均绝对误差（MAE）

平均绝对误差MAE（Mean Absolute Error）又被称为 $l 1$

$l 1$

2. 平均平方误差（MSE）

平均平方误差MSE（Mean Squared Error）又被称为 $l 2$

$l 2$

3、均方根误差（RMSE）

RMSE虽然广为使用，但是其存在一些缺点，因为它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是非鲁棒的。

4、解释变异

解释变异（ Explained variance）是根据误差的方差计算得到的：

　　　　技术分享图片

5、决定系数

决定系数（Coefficient of determination）又被称为 $R^{2}$

$R^{2}$

三、聚类

1 . 兰德指数

兰德指数（Rand index）需要给定实际类别信息 $C$

　　　　技术分享图片

其中数据集中可以组成的总元素对数，RI取值范围为 $[0, 1]$

对于随机结果，RI并不能保证分数接近零。为了实现“在聚类结果随机产生的情况下，指标应该接近零”，调整兰德系数（Adjusted rand index）被提出，它具有更高的区分度：

具体计算方式参见Adjusted Rand index。

ARI取值范围为 $[- 1, 1]$

2. 互信息

互信息（Mutual Information）也是用来衡量两个数据分布的吻合程度。假设 $U$

$U$

利用基于互信息的方法来衡量聚类效果需要实际类别信息，MI与NMI取值范围为 $[0, 1]$

3. 轮廓系数

轮廓系数（Silhouette coefficient）适用于实际类别信息未知的情况。对于单个样本，设 $a$

对于一个样本集合，它的轮廓系数是所有样本轮廓系数的平均值。

轮廓系数取值范围是 $[- 1, 1]$

四、信息检索

信息检索评价是对信息检索系统性能（主要满足用户信息需求的能力）进行评估，与机器学习也有较大的相关性，感兴趣的可以参考这篇不错的博文。

五、总结

上面介绍了非常多的指标，实际应用中需要根据具体问题选择合适的衡量指标。那么具体工作中如何快速使用它们呢？优秀的Python机器学习开源项目Scikit-learn实现了上述绝指标的大多数，使用起来非常方便。

吴恩达-第一课第二周1-7节总结-医学深度学习模型的评估汇总(代码片段)

医学深度学习模型的评估汇总本周我们将深入探讨医学深度学习模型的评估。在医学上，由于决策具有很高的影响力，我们关心的是准确地了解模型何时对患者起作用，什么时候不起作用。您将学习一下指标，包... 查看详情

机器学习100天：012回归模型评估指标python实现(代码片段)

机器学习100天，今天讲的是：回归模型评估指标Python实现！上一节我们介绍了线性回归中常用的评估指标有4个，分别是：均方误差、均方根误差、平均绝对值误差、拟合度。下面我们来看一下python中计算这些误差的代码。打开sp... 查看详情

机器学习100天：012回归模型评估指标python实现(代码片段)

机器学习模型评估——混淆矩阵(代码片段)

...果是否好，有多好！我们常常会选择一个合适的评估指标进行衡量，比如我们熟悉的ACC，AUC，F1-sc 查看详情

评估机器学习模型的几种方法（验证集的重要性）(代码片段)

什么是评估机器学习模型　　机器学习的目的是得到可以泛化（generalize）的模型，即在前所未见的数据上表现很好的模型，而过拟合则是核心难点。你只能控制可以观察的事情，所以能够可靠地衡量模型的泛化能... 查看详情

机器学习100天（二十二）：022分类模型评价指标-python实现(代码片段)

机器学习100天！今天讲的是：分类模型评价指标-Python实现！《机器学习100天》完整目录：目录打开spyder，首先，导入标准库。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportaccuracy_scorefromsklearn.metricsimportprecision_scorefromsklear 查看详情

机器学习100天（二十二）：022分类模型评价指标-python实现(代码片段)

python机器学习从零开始选择模型(代码片段)

...验证。此外还可以使用新的数据来评估算法模型。在评估机器学习算法时，查看详情

rr中的自定义评估回归模型脚本用于azure机器学习(代码片段)

查看详情

机器学习sklearn----支持向量机svc模型评估指标(代码片段)

文章目录前言混淆矩阵指标1准确率指标2精确度指标3召回率指标4F1-measure指标5假负率指标6特异度指标7假正率sklearn中的混淆矩阵前言前面一篇博文介绍了SVC处理二分类问题是怎么样来解决样本不均衡。这里我们要来将用什么指标... 查看详情

机器学习--模型评估指标之混淆矩阵，roc曲线和auc面积(代码片段)

一、前述怎么样对训练出来的模型进行评估是有一定指标的，本文就相关指标做一个总结。二、具体1、混淆矩阵混淆矩阵如图：相关公式：公式解释： fp_rate：tp_rate:recall:（召回率）值越大越好presssion:（准确率... 查看详情

机器学习模型评估选择与验证(代码片段)

模型评估、选择与验证1.为什么要有训练集与测试集？2.欠拟合与过拟合3.偏差与方差4.验证集与交叉验证4.1k折交叉验证4.2集成学习4.3自助法5.衡量回归的性能指标5.1MSE5.2RMSE5.3MAE5.4R-Squared6.准确度的陷阱与混淆矩阵6.1准确度的... 查看详情

python机器学习classification_report()函数输出模型评估报告(代码片段)

classification_report()是python在机器学习中常用的输出模型评估报告的方法。classification_report()函数介绍classification_report()语法如下：classification_report( y_true, y_pred, labels=... 查看详情

机器学习sklearn（二十七）：模型评估量化预测的质量回归指标(代码片段)

该 sklearn.metrics 模块实现了一些loss,score以及utility函数以测量regression（回归）的性能.其中一些已经被加强以处理多个输出的场景: mean_squared_error, mean_absolute_error, explained_variance_score 和 r2_score. 查看详情

python机器学习算法学习的步骤机器学习的应用及流程(获取数据特征工程模型模型评估)(代码片段)

机器学习入门机器学习中需要理论性的知识，如数学知识为微积分(求导过程，线性回归的梯度下降法)，线性代数(多元线性回归，高纬度的数据，矩阵等)，概率论(贝叶斯算法)，统计学(贯穿整个学习过... 查看详情

机器学习sklearn（二十八）：模型评估量化预测的质量聚类指标/虚拟估计(代码片段)

聚类指标该 sklearn.metrics 模块实现了一些loss,score和utility函数.更多信息请参阅聚类性能度量部分,例如聚类,以及用于二分聚类的 Biclustering评测.虚拟估计在进行监督学习的过程中，简单的sanitycheck（理性检... 查看详情

火炉炼ai机器学习006-用决策树回归器构建房价评估模型(代码片段)

【火炉炼AI】机器学习006-用决策树回归器构建房价评估模型(本文所使用的Python库和版本号:Python3.5,Numpy1.14,scikit-learn0.19,matplotlib2.2)最近几十年，房价一直是中国老百姓心中永远的痛，有人说，中国房价就像女人的无肩带文胸，一... 查看详情

机器学习out-of-fold折外预测详解|使用折外预测oof评估模型的泛化性能和构建集成模型(代码片段)

一、引言机器学习算法的模型评估通常使用重采样技术，如K折交叉验证。机器学习模型可以使用K-Fold交叉验证技术来提高模型的预测精度。在交叉验证过程中，预测是在拆分出来的没有用于模型训练的测试集上进行的（模型训... 查看详情