机器学习100天(二十):020分类模型评价指标-pr曲线

红色石头Will 红色石头Will     2023-01-06     321

关键词:

机器学习100天!今天讲的是:分类模型评价指标-PR曲线!

《机器学习100天》完整目录:目录

上一节我们已经了解了混淆矩阵的概念,并掌握了精确率、召回率的计算公式,在这里。现在我们来学习 PR 曲线的概念。

如图中所示,P-R 曲线的 P 就是精确率(也称为查准率),R 就是召回率(也称为查全率)。以查全率作为横坐标,查准率作为纵坐标。对于同一个模型,通过调整分类阈值,可以得到不同的 P-R 值。这里的阈值就是判断正类的概率阈值,例如 0.5、0.8、0.3 等。不同的阈值,计算得到不同的 P 值和 R 值,然后将所有不同阈值下的 P-R 坐标点连接起来,就得到了 P-R 曲线。通常随着分类阈值从大到小变化,查准率减小,查全率增加。

比较两个分类器好坏时,显然是查得又准又全的比较好,也就是说 PR 曲线越往坐标(1,1)的位置靠近越好。若一个学习器的 P-R 曲线被另一个学习器完全”包住”,则后者的性能优于前者。如果存在交叉时,可以计算曲线与两个坐标轴围住的面积,面积越大,表明模型越好!也可以通过平衡点(即查准率=查全率的点,P-R 曲线与这条虚线的交点,称为 Break-Even Point,BEP)来判断。BEP 越靠近坐标(1,1),则模型越好。

在图中,基于 BEP 的比较,可以认为模型 A 优于模型 B 和模型 C 的。

好了,今天的内容到此结束!

机器学习100天(二十二):022分类模型评价指标-python实现(代码片段)

机器学习100天!今天讲的是:分类模型评价指标-Python实现!《机器学习100天》完整目录:目录打开spyder,首先,导入标准库。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportaccuracy_scorefromsklearn.metricsimportprecision_scorefromsklear 查看详情

机器学习100天(二十一):021分类模型评价指标-roc曲线和auc

机器学习100天!今天讲的是:分类模型评价指标-ROC曲线和AUC《机器学习100天》完整目录:目录首先基于混淆矩阵,介绍两个新的概念:真正例率(TPR)和假正例率(FPR)。真正例率是预测为正且实际为正的样本的占所有正例样... 查看详情

机器学习100天(十九):019分类模型评价指标-混淆矩阵

机器学习100天,今天讲的是:分类模型评价指标-混淆矩阵。《机器学习100天》完整目录:目录一、准确率(Accuracy)逻辑回归是一个分类模型,那么对于分类模型,如何评估它的优劣呢?好,我们先来认识一个名词:混淆矩阵(... 查看详情

机器学习100天(十九):019分类模型评价指标-混淆矩阵

机器学习100天,今天讲的是:分类模型评价指标-混淆矩阵。《机器学习100天》完整目录:目录一、准确率(Accuracy)逻辑回归是一个分类模型,那么对于分类模型,如何评估它的优劣呢?好,我们先来认识一个名词:混淆矩阵(... 查看详情

机器学习中的评价指标

作者|我的智慧生活来源|咪付在人工智能领域,机器学习的效果需要用各种指标来评价。本文将阐述机器学习中的常用性能评价指标,参考技术A作者|我的智慧生活来源|咪付在人工智能领域,机器学习的效果需要用各种指标来评... 查看详情

机器学习模型的评价指标和方法

http://blog.csdn.net/pipisorry/article/details/52574156衡量分类器的好坏    对于二类分类器/分类算法,评价指标主要有accuracy,[precision,recall,F-score,pr曲线],ROC-AUC曲线,gini系数。    对于多类分类器/分类算 查看详情

机器学习100天(二十九):029k折交叉验证

机器学习100天,今天讲的是:K折交叉验证!《机器学习100天》完整目录:目录机器学习中,我们常会遇到一个问题,就是超参数的选择,超参数就是机器学习算法中的调优参数,比如上一节K近邻算法中的K值。K折交叉验证就是... 查看详情

机器学习100天(二十六):026k近邻分类算法-理论

机器学习100天,今天讲的是:K近邻分类算法-理论。《机器学习100天》完整目录:目录一、什么是K近邻算法K近邻算法也叫KNN(k-NearestNeighbor)算法,它是一个比较成熟也是最简单的机器学习算法之一。K近邻分类算法的思路是:如果... 查看详情

机器学习100天(二十六):026k近邻分类算法-理论

机器学习100天,今天讲的是:K近邻分类算法-理论。《机器学习100天》完整目录:目录一、什么是K近邻算法K近邻算法也叫KNN(k-NearestNeighbor)算法,它是一个比较成熟也是最简单的机器学习算法之一。K近邻分类算法的思路是:如果... 查看详情

机器学习100天(二十八):028k近邻分类算法-python实现(代码片段)

机器学习100天,今天讲的是:K近邻分类算法-Python实现。《机器学习100天》完整目录:目录一、导入数据集我们打开spyder,新建一个knn.py脚本。首先导入标准库,然后导入数据集iris_data.csv文件。数据集下载地址:iris_data.csv,提... 查看详情

机器学习100天(二十八):028k近邻分类算法-python实现(代码片段)

机器学习100天,今天讲的是:K近邻分类算法-Python实现。《机器学习100天》完整目录:目录一、导入数据集我们打开spyder,新建一个knn.py脚本。首先导入标准库,然后导入数据集iris_data.csv文件。数据集下载地址:iris_data.csv,提... 查看详情

机器学习100天(二十三):023欠拟合与过拟合

机器学习100天,今天讲的是欠拟合与过拟合!《机器学习100天》完整目录:目录一、过拟合与欠拟合机器学习中,我们构建一个模型,通常可能会遇到欠拟合或者过拟合的问题。以这张图为例,面对同样一批数据,我们建立了3... 查看详情

机器学习100天(二十三):023欠拟合与过拟合

机器学习100天,今天讲的是欠拟合与过拟合!《机器学习100天》完整目录:目录一、过拟合与欠拟合机器学习中,我们构建一个模型,通常可能会遇到欠拟合或者过拟合的问题。以这张图为例,面对同样一批数据,我们建立了3... 查看详情

机器学习100天:011回归模型评估指标

机器学习100天,今天讲的是:线性回归评估指标!一、哪个模型更好?我们之前已经对房价预测的问题构建了线性模型,并对测试集进行了预测。如图所示,横坐标是地区人口,纵坐标是房价,红色的点是实际样本分布。使用不... 查看详情

hulu机器学习问题与解答系列|二十一:分类排序回归模型的评估

本期问题的解答结合了具体的Hulu业务案例,可以说是很有趣又好懂了。快快学起来吧!  今天的内容是【分类、排序、回归模型的评估】 场景描述在模型评估过程中,分类问题、排序问题、回归问题往往需要使用不... 查看详情

机器学习100天(二十八):028k近邻分类算法-python实现(代码片段)

机器学习100天,今天讲的是:K近邻分类算法-Python实现。《机器学习100天》完整目录:目录一、导入数据集我们打开spyder,新建一个knn.py脚本。首先导入标准库,然后导入数据集iris_data.csv文件。数据集下载地址:iris_data.csv,提... 查看详情

机器学习100天:011回归模型评估指标

机器学习100天,今天讲的是:线性回归评估指标!一、哪个模型更好?我们之前已经对房价预测的问题构建了线性模型,并对测试集进行了预测。如图所示,横坐标是地区人口,纵坐标是房价,红色的点是实际样本分布。使用不... 查看详情

机器学习100天:012回归模型评估指标python实现(代码片段)

机器学习100天,今天讲的是:回归模型评估指标Python实现!上一节我们介绍了线性回归中常用的评估指标有4个,分别是:均方误差、均方根误差、平均绝对值误差、拟合度。下面我们来看一下python中计算这些误差的代码。打开sp... 查看详情