关键词：
分类方法常用的评估模型好坏的方法.
0.预设问题
假设我现在有一个二分类任务,是分析100封邮件是否是垃圾邮件,其中不是垃圾邮件有65封,是垃圾邮件有35封.模型最终给邮件的结论只有两个:是垃圾邮件与 不是垃圾邮件.
经过自己的努力,自己设计了模型,得到了结果,分类结果如下:
- 不是垃圾邮件70封(其中真实不是垃圾邮件60封,是垃圾邮件有10封)
- 是垃圾邮件30封(其中真实是垃圾邮件25封,不是垃圾邮件5封)
现在我们设置,不是垃圾邮件.为正样本,是垃圾邮件为负样本
我们一般使用四个符号表示预测的所有情况:
- TP(真阳性):正样本被正确预测为正样本,例子中的60
- FP(假阳性):负样本被错误预测为正样本,例子中的10
- TN(真阴性):负样本被正确预测为负样本,例子中的25
- FN(假阴性):正样本被错误预测为负样本,例子中的5
1.评价方法介绍
先看最终的计算公式:
1.Precision(精确率)
关注预测为正样本的数据(可能包含负样本)中,真实正样本的比例
计算公式
例子解释:对上前面例子,关注的部分就是预测结果的70封不是垃圾邮件中真实不是垃圾邮件占该预测结果的比率,现在Precision=60/(600+10)=85.71%
2.Recall(召回率)
关注真实正样本的数据(不包含任何负样本)中,正确预测的比例
计算公式
例子解释:对上前面例子,关注的部分就是真实有65封不是垃圾邮件,这其中你的预测结果中有多少预测正确了,Recall=60/(60+5)=92.31%
3.F-score中β值的介绍
β是用来平衡Precision,Recall在F-score计算中的权重,取值情况有以下三种:
- 如果取1,表示Precision与Recall一样重要
- 如果取小于1,表示Precision比Recall重要
- 如果取大于1,表示Recall比Precision重要
一般情况下,β取1，认为两个指标一样重要.此时F-score的计算公式为:
前面计算的结果,得到Fscore=(2*0.8571*0.9231)/(0.8571+0.9231)=88.89%
3.其他考虑
预测模型无非就是两个结果
- 准确预测(不管是正样子预测为正样本,还是负样本预测为负样本)
- 错误预测
那我就可以直接按照下面的公式求预测准确率,用这个值来评估模型准确率不就行了
那为什么还要那么复杂算各种值.理由是一般而言:负样本远大于正样本。
可以想象,两个模型的TN变化不大的情况下,但是TP在两个模型上有不同的值,TN>>TP是不是可以推断出:两个模型的(TN+TP)近似相等.这不就意味着两个模型按照以上公式计算的Accuracy近似相等了.那用这个指标有什么用!!!
所以说,对于这种情况的二分类问题,一般使用Fscore去评估模型.
需要注意的是:Fscore只用来评估二分类的模型,Accuracy没有这限制
参考
1.机器学习中的 precision、recall、accuracy、F1 Score
2.分类模型的评估方法-F分数(F-Score)
机器学习100天（十九）：019分类模型评价指标-混淆矩阵
机器学习100天，今天讲的是：分类模型评价指标-混淆矩阵。《机器学习100天》完整目录：目录一、准确率（Accuracy）逻辑回归是一个分类模型，那么对于分类模型，如何评估它的优劣呢？好，我们先来认识一个名词：混淆矩阵（... 查看详情
机器学习模型的评价指标和方法
http://blog.csdn.net/pipisorry/article/details/52574156衡量分类器的好坏 对于二类分类器/分类算法，评价指标主要有accuracy，[precision，recall，F-score，pr曲线]，ROC-AUC曲线，gini系数。 对于多类分类器/分类算 查看详情
r语言临床预测模型的评价指标与验证指标实战：净重新分类指数nri（netreclassificationindex,nri）
R语言临床预测模型的评价指标与验证指标实战：净重新分类指数NRI（NetClassificationIndex,NRI）#净重新分类指数NRI 查看详情
r语言临床预测模型的评价指标与验证指标实战：自定义的净重新分类指数nri（netreclassificationindex,nri）函数
R语言临床预测模型的评价指标与验证指标实战：自定义的净重新分类指数NRI（NetReclassificationIndex,NRI）函数目录 查看详情
第七篇图像分类的评价指标
...场景去评估某个模型，都是一种欠妥的评估方式。单标签分类的评价指标有：混淆矩阵，准确率(Accuracy),精确率（Precision）,召回率（Recall）,F1-score,ROC曲线和AUC。混淆矩阵TP:正样本且分类为正样本的数目为（TruePositive）FN:标签为... 查看详情
详解目标检测模型的评价指标及代码实现
...型的优劣，并通过这个指标来进一步调参优化模型。对于分类和回归两类监督模型，分别有各自的评判标准。不同的问题和不同的数据集都会有不同的模型评价指标，比如分类问题，数据集类别平衡的情况下可以使用准确率作为... 查看详情
机器学习100天（二十）：020分类模型评价指标-pr曲线
机器学习100天！今天讲的是：分类模型评价指标-PR曲线！《机器学习100天》完整目录：目录上一节我们已经了解了混淆矩阵的概念，并掌握了精确率、召回率的计算公式，在这里。现在我们来学习PR曲线的... 查看详情
聚类模型性能评价指标
有监督的分类算法的评价指标通常是accuracy,precision,recall,etc；由于聚类算法是无监督的学习算法，评价指标则没有那么简单了。因为聚类算法得到的类别实际上不能说明任何问题，除非这些类别的分布和样本的真实类别分布相似... 查看详情
机器学习100天（二十二）：022分类模型评价指标-python实现(代码片段)
机器学习100天！今天讲的是：分类模型评价指标-Python实现！《机器学习100天》完整目录：目录打开spyder，首先，导入标准库。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportaccuracy_scorefromsklearn.metricsimportprecision_scorefromsklear 查看详情
机器学习100天（二十二）：022分类模型评价指标-python实现(代码片段)
机器学习100天！今天讲的是：分类模型评价指标-Python实现！《机器学习100天》完整目录：目录打开spyder，首先，导入标准库。importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.metricsimportaccuracy_scorefromsklearn.metricsimportprecision_scorefromsklear 查看详情
深度学习模型评价指标
一、分类任务分类任务一般有二分类、多分类和多标签分类。多分类：表示分类任务中有多个类别，但是对于每个样本有且仅有一个标签，例如一张动物图片，它只可能是猫，狗，虎等中的一种标签（... 查看详情
深度学习模型评价指标
一、分类任务分类任务一般有二分类、多分类和多标签分类。多分类：表示分类任务中有多个类别，但是对于每个样本有且仅有一个标签，例如一张动物图片，它只可能是猫，狗，虎等中的一种标签（... 查看详情
机器学习100天（二十一）：021分类模型评价指标-roc曲线和auc
机器学习100天！今天讲的是：分类模型评价指标-ROC曲线和AUC《机器学习100天》完整目录：目录首先基于混淆矩阵，介绍两个新的概念：真正例率（TPR）和假正例率（FPR）。真正例率是预测为正且实际为正的样本的占所有正例样... 查看详情
模型评价指标
...损失平均平方误差（MeanSquaredError,MSE,又被称为l2范数损失分类平评估指标二维混淆矩阵预测结果真实类别正例反例正例真正例（TruePositive）TP假反例（FalseNegative）FN反例假正例(FalsePositive)FP真反例（TrueNegative）TN(1)准确率表示正确... 查看详情
机器学习中的评价指标
...后，即模型训练已经完成，我们就可以利用这个模型进行分类识别。比如，给模型输入一张电动车的照片，模型能够识别出这是一辆电动车；输入一辆摩托车的照片，模型能够识别出这是一辆摩托车。前提是：在模型训练过程中... 查看详情
转：聚类评价指标
...bsp;关注2016.03.0509:26* 字数1956 阅读4065评论2喜欢101.分类问题评价指标1-1.精确率与召回率精确率（Precision）指的是模型判为正的所有样本中有多少是真正的正样本；召回率（Recall）指的是所有正样本有多少被模型判为正样... 查看详情
分类指标
...会得到不一样的结果。评估指标根据任务类型可以分为：分类指标、回归指标、聚类指标和排序指标等，本文主要关注分类指标。分类的评价指标一般是分类准确率（accuracy）：对于给定的数据集，分类正确的样本数与总的样本... 查看详情
模型评价指标总结
参考技术A1、分类准确度定义：分类准确度（accuracy），指在分类模型中，模型的输出分类结果与真实结果一致的样本占总分类样本的比例。优缺点：其容易理解，但致命缺点是对于极度偏斜的数据，使用分类准确度是不科学不... 查看详情