关键词:
无论是对于图像领域的分类、分割问题,亦或点云领域的物体分类、场景分割,在评价一个模型的好坏时,经常涉及TP、FP、TN、FN、Recall、IoU、Accuracy。。。等指标进行衡量,那么这些指标是什么意思呢?
今天有幸请到了鸭子先生、猴子客官和熊猫大大来给大家亲身示范一下。
开场
咦!发现10只可爱的小动物,可是我们不知道是什么动物,要不用深度学习分一下类吧?
这个时候直接掏出训练好的模型
,把这些小动物丢进去,一番等待之后,我们有了以下的预测结果:
很明显,模型并没有非常完美的完成任务。但是如何评价它呢?
基本指标:TP、FP、TN、FN
对某一类别A
来讲:T = true,表示正确分类的;F = false,表示错误分类的;P = Positive,表示预测结果为A;N = Negative,表示预测结果为非A。
- TP(True Positive): 正确分成
A
的数目,既预测为A
,真值也是A
,。 - FP(False Positive): 错误分成
A
的数目,既预测为A
,真值是非A
。 - TN(True Negative): 正确分成
非A
的数目, 既预测为非A
,真值也是非A
,。 - FN(False Negative): 错误分成
非A
的数目,既预测为非A
, 真值是A
。
那么:对于上述3个动物类别而言:
类别 | TP | FP | TN | FN |
---|---|---|---|---|
鸭子 | 5 | 1 | 3 | 1 |
猴子 | 1 | 1 | 7 | 1 |
熊猫 | 2 | 0 | 8 | 0 |
可以看到,对每一个类别而言,TP+FP+TN+FN == 10(共10个动物)
准确率:Accuracy
含义:所有小动物分类的准确率,总共10只小动物,其中8只被正确分类。
计算:8 / 10 = 80.00%
精准率:Precision
含义:一动物类别A的所有预测结果里,真值为A的动物所占的比例
计算:P = TP / (TP + FP)
- 鸭子:5 / (5 + 1)= 83.33%
- 猴子:1 / (1 + 1)= 50.00%
- 熊猫:2 / (2 + 0)= 100.00%
召回率:Recall
含义:一动物类别A的所有预测结果里,真值为A的数目,除以原始数据中A类动物的总个数
计算:R = TP / (TP+FN)
- 鸭子:5 / 6= 83.33%
- 猴子:1 / 2= 50.00%
- 熊猫:2 / 2= 100.00%
交并比:IoU
含义:某一类的预测结果和真实值的交集与并集的比值
- 鸭子:
真实值(6只鸭)
与预测结果(5只鸭+1只猴)
,其交集为5只,并集为7只。
计算:IoU = 5 / 7= 0.714 - 猴子:
真实值(2只猴)
与预测结果(1只鸭+1只猴)
,其交集为1只,并集为3只。
计算(猴子):IoU = 1 / 3= 0.333 - 熊猫:
真实值(2只熊)
与预测结果(2只猫)
,其交集为2只,并集为2只。
计算(熊猫):IoU = 2 / 2= 1
可见:IoU值约接近于1,表示该类的预测结果越好
平均交并比:mIoU
含义:所有类别的IoU求和,除以类别数目
计算:(0.714 + 0.333 + 1)/ 3 = 0.682
参考:
深度学习分类任务常用评估指标(代码片段)
摘要:这篇文章主要向大家介绍深度学习分类任务评价指标,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。本文分享自华为云社区《深度学习分类任务常用评估指标》,原文作者:lutianfei。这篇文... 查看详情
python深度学习之路-3.1性能评价指标(代码片段)
1.理解混淆矩阵所谓混淆矩阵,是指将模型对各个测试数据的预测结果分为真阳性、真阴性、假阳性和假阴性并对符合各个观点的预测结果的数量进行统计的一种表格。其中,真阳性和真阴性表示机器学习模型的回答是正... 查看详情
python深度学习目标检测评价指标
目标检测评价指标:准确率(Accuracy),混淆矩阵(ConfusionMatrix),精确率(Precision),召回率(Recall),平均正确率(AP),meanAveragePrecision(mAP),交除并(IoU),ROC+AUC,非极大值抑制(NMS)。假设原始样本中有两类,其中:&nb... 查看详情
python深度学习目标检测评价指标
✅作者简介:热爱科研的算法开发者,Python、Matlab项目可交流、沟通、学习。 查看详情
深度学习模型评价指标
一、分类任务分类任务一般有二分类、多分类和多标签分类。多分类:表示分类任务中有多个类别,但是对于每个样本有且仅有一个标签,例如一张动物图片,它只可能是猫,狗,虎等中的一种标签(... 查看详情
深度学习模型评价指标
一、分类任务分类任务一般有二分类、多分类和多标签分类。多分类:表示分类任务中有多个类别,但是对于每个样本有且仅有一个标签,例如一张动物图片,它只可能是猫,狗,虎等中的一种标签(... 查看详情
深度学习常用的模型评估指标
“没有测量,就没有科学。”这是科学家门捷列夫的名言。在计算机科学中,特别是在机器学习的领域,对模型的测量和评估同样至关重要。只有选择与问题相匹配的评估方法,我们才能够快速的发现在模型选择和训练过程中可... 查看详情
搞懂机器学习的常用评价指标!
...↑↑关注后"星标"Datawhale每日干货 & 每月组队学习,不错过 Datawhale干货 作者:陈安东,湖南大学,Datawhale成员我与评价指标的首次交锋是第一次实习面试时,面试官开头就问分类任务的评价指标。... 查看详情
深度学习目标分割概述
...3平均交并比5总结1图像分割的定义计算机视觉旨在识别和理解图像中的内容,包含三大基本任务:图像分类(图a)、目标检测(图b)和图像分割,其中图像分割又可分为:语义分割(图c)和实 查看详情
a.深度学习基础入门篇[二]:机器学习常用评估指标:aucmapisfidperplexitybleurouge等详解
A.深度学习基础入门篇[二]:机器学习常用评估指标1.基础指标简介机器学习的评价指标有精度、精确率、召回率、P-R曲线、F1值、TPR、FPR、ROC、AUC等指标,还有在生物领域常用的敏感性、特异性等指标。在分类任务中... 查看详情
机器学习中的评价指标
作者|我的智慧生活来源|咪付在人工智能领域,机器学习的效果需要用各种指标来评价。本文将阐述机器学习中的常用性能评价指标,参考技术A作者|我的智慧生活来源|咪付在人工智能领域,机器学习的效果需要用各种指标来评... 查看详情
深度学习目标检测概述(代码片段)
目录1目标检测2常用的开源数据集2.1PASCALVOC数据集2.2MSCOCO数据集3常用的评价指标3.1IOU3.2mAP(*MeanAveragePrecision*)4NMS(非极大值抑制)5目标检测方法分类6总结1目标检测目标检测(ObjectDetection)的任务是找出... 查看详情
如何快速入门深度学习目标检测?
学习目标了解目标检测的任务知道目标检测的常用数据集知道目标检测算法的评价指标掌握非极大值NMS算法的应用了解常用的目标检测算法分类1.目标检测目标检测(ObjectDetection)的任务是找出图像中所有感兴趣的目标,并确定... 查看详情
分类模型的评价指标fscore
分类模型的评价指标Fscore小书匠 深度学习 分类方法常用的评估模型好坏的方法.0.预设问题假设我现在有一个二分类任务,是分析100封邮件是否是垃圾邮件,其中不是垃圾邮件有65封,是垃圾邮件有35封.模型最终给邮件的结论... 查看详情
如何理解keras中的指标metrics
Keras库提供了一种在训练深度学习模型时计算和报告一套标准指标的方法。除了为分类和回归问题提供标准指标外,Keras还允许您在深度学习时定义和报告自己的自定义指标。如果您想在训练期间更好地捕捉模型的性能度量,这... 查看详情
机器学习算法中的评价指标(准确率召回率f值rocauc等)
...Accurary) 准确率是我们最常见的评价指标,而且很容易理解,就是被分对的样本数除以所有的样本数,通常来说,正确率越高,分类器越好。准确率确实是一个很好很直观的评价指标,但是有时候准确率高并不能代 查看详情
如何快速入门深度学习目标检测?(代码片段)
学习目标了解目标检测的任务知道目标检测的常用数据集知道目标检测算法的评价指标掌握非极大值NMS算法的应用了解常用的目标检测算法分类1.目标检测目标检测(ObjectDetection)的任务是找出图像中所有感兴趣的目标... 查看详情
detection:目标检测常用评价指标的学习总结(ioutpfptnfnprecisionrecallf1-scorep-r曲线apmaproc曲线tprfpr和auc)
...FN在目标检测中的对应内容2.3.1TP,FP在目标检测中的理解2.3.2TN,FN在目标检测中的理解2.3.3总结3.Accuracy、Precision、Recall和F1F_1F1-score指标3.1Accuracy3.2单类别下的Precision、recall和F1F_1F1-score的计算方法3.2.1Precision3.2.2Recall3.2.... 查看详情