关键词：
【中文标题】多类语义分割模型评估【英文标题】：Multiclass semantic segmentation model evaluation 【发布时间】：2020-10-09 04:24:01 【问题描述】：我正在做一个关于多类语义分割的项目。我制定了一个模型，通过降低损失值来输出漂亮的下降分割图像。但是，我无法在诸如 meanIoU 或 Dice 系数之类的指标中评估模型性能。 在二元语义分割的情况下，很容易将阈值设置为 0.5，将输出分类为对象或背景，但在多类语义分割的情况下不起作用。您能否告诉我如何在上述指标上获得模型性能？任何帮助将不胜感激！
顺便说一句，我正在使用 PyTorch 框架和 CamVid 数据集。
【问题讨论】：
【参考方案1】：如果有人对此答案感兴趣，也请查看this issue。该问题的作者指出，mIoU 可以以不同的方式计算（并且该方法在文献中更被接受）。因此，在将实现用于任何正式发布之前，请考虑这一点。很遗憾，我目前无法使用这些详细信息更新此答案，但将来可能会这样做。
原答案：
下面给出的是 PyTorch 中平均 IoU（联合交集）的实现。
def mIOU(label, pred, num_classes=19):
pred = F.softmax(pred, dim=1)
pred = torch.argmax(pred, dim=1).squeeze(1)
iou_list = list()
present_iou_list = list()
pred = pred.view(-1)
label = label.view(-1)
# Note: Following for loop goes from 0 to (num_classes-1)
# and ignore_index is num_classes, thus ignore_index is
# not considered in computation of IoU.
for sem_class in range(num_classes):
pred_inds = (pred == sem_class)
target_inds = (label == sem_class)
if target_inds.long().sum().item() == 0:
iou_now = float('nan')
else:
intersection_now = (pred_inds[target_inds]).long().sum().item()
union_now = pred_inds.long().sum().item() + target_inds.long().sum().item() - intersection_now
iou_now = float(intersection_now) / float(union_now)
present_iou_list.append(iou_now)
iou_list.append(iou_now)
return np.mean(present_iou_list)
您的模型的预测将采用 one-hot 形式，因此首先使用 softmax（如果您的模型还没有），然后使用 argmax 以获取每个像素处概率最高的索引。然后，我们计算每个类的 IoU（并在最后取平均值）。
我们可以将预测和标签重塑为一维向量（我读到它使计算更快）。对于每个类，我们首先使用pred_inds = (pred == sem_class) 和target_inds = (label == sem_class) 识别该类的索引。生成的pred_inds 和target_inds 将在标记为该特定类的像素处具有 1，而对于任何其他类，则为 0。
那么，目标可能根本不包含该特定类。这将使该类的 IoU 计算无效，因为它不存在于目标中。因此，您为此类类分配了一个 NaN IoU（以便您稍后可以识别它们），并且不让它们参与均值的计算。
如果目标中存在特定类，则pred_inds[target_inds] 将给出一个由 1 和 0 组成的向量，其中 1 的索引是预测和目标相等的那些，否则为零。取所有元素的总和将得到交集。
如果我们将pred_inds 和target_inds 的所有元素相加，我们将得到该特定类的并集+ 交集。所以，我们减去已经计算的交集得到并集。然后，我们可以划分交集和并集，得到该特定类的 IoU，并将其添加到有效 IoU 列表中。
最后，你取整个列表的平均值来获得 mIoU。如果你想要骰子系数，你可以用类似的方式计算它。
【讨论】：
多类语义分割 - 输出激活？
】多类语义分割-输出激活？【英文标题】：Multiclasssemanticsegmentation-outputactivation?【发布时间】：2018-08-2912:27:21【问题描述】：我正在Keras中尝试多类语义分割。现在我正在使用Unet架构，并且有一个类似的模型（但更深）：inputs=I... 查看详情
openmmlabai实战营打卡笔记——06语义分割算法基础
...营打卡笔记，想要具体了解可以跳转课程视频：语义分割算法基础目录语义分割1.语义分割基本思路2.深度学习下的语义分割模型3.分割模型的评估方法4.语义分割算法总结语义分割这节课对语义分割算法做了详细的介绍&#x... 查看详情
如何使用tensorflow实现多类语义分割
】如何使用tensorflow实现多类语义分割【英文标题】：Howtoimplementmulti-classsemanticsegmentationusingtensorflow【发布时间】：2020-04-1607:25:50【问题描述】：我正在尝试使用tensorflow和tflearn或Keras执行多类语义分割（我尝试了这两个API）。与... 查看详情
基于mindspore复现unet—语义分割(代码片段)
基于MindSpore复现UNet—语义分割1.模型简介1.1模型结构1.2模型特点2.案例实现2.1环境准备与数据读取2.2数据集创建2.3模型构建2.4自定义评估指标2.5模型训练及评估2.6模型预测3.总结1.模型简介Unet模型于2015年在论文《U-Net:ConvolutionalNet... 查看详情
如何为多类语义分割预处理 RGB 分割掩码？
】如何为多类语义分割预处理RGB分割掩码？【英文标题】：Howtopre-processRGBsegmentationmaskformulti-classsemanticsegmentation?【发布时间】：2021-04-1513:03:36【问题描述】：我正在研究一个多类语义分割数据集，该数据集具有原始图像的RGB地... 查看详情
如何实现多类语义分割？
】如何实现多类语义分割？【英文标题】：Howtoimplementmulti-classsemanticsegmentation?【发布时间】：2017-10-0913:17:25【问题描述】：我能够使用具有二元分类的标记图像训练U-net。但我很难弄清楚如何在Keras/Theano中为多类分类（4类）配... 查看详情
在 RGB 图像上绘制多类语义分割透明覆盖
】在RGB图像上绘制多类语义分割透明覆盖【英文标题】：Plottingmulti-classsemanticsegmentationtransparentoverlaysoverRGBimage【发布时间】：2020-10-0308:45:24【问题描述】：我有语义分割掩码的结果（值在0-1之间，需要otsu阈值来确定什么是正面... 查看详情
keras/tensorflow中语义图像分割的多类加权损失
】keras/tensorflow中语义图像分割的多类加权损失【英文标题】：Multi-classweightedlossforsemanticimagesegmentationinkeras/tensorflow【发布时间】：2020-04-1814:35:24【问题描述】：给定批处理RGB图像作为输入，shape=(batch_size,width,height,3)一个多类目... 查看详情
openmmlab实战营打卡-第6课
OpenMMLab语义分割语义分割什么是语义分割应用语义分割vs实例分割vs全景分割基本思路语义分割算法总结模型评估参考资料语义分割什么是语义分割任务：将图像按照物体的类别分割成不同的区域等价于：对每个像素进行... 查看详情
openmmlab实战营打卡-第六课语义分割(代码片段)
（六）什么是语义分割？把像素进行分类。OpenMMLabAI实战营第6课文章目录前言一、什么是语义分割？语义分割的应用语义分割vs实例分割vs全景分割 二、语义分割的基本思路1.按颜色分割 2.逐像素分类3.改进：... 查看详情
语义分割：如何评估噪声对医学图像分割的有效性和鲁棒性的影响？
】语义分割：如何评估噪声对医学图像分割的有效性和鲁棒性的影响？【英文标题】：SemanticSegmentation:Howtoevaluatethenoiseinfluenceoftheeffectivityandrobustnessofthemedicalimagesegmentation?【发布时间】：2020-06-0520:56:35【问题描述】：我已经对医... 查看详情
计算机视觉框架openmmlab开源学习：语义分割基础
...智能领域初学者及研究者学习。➡️点击跳转到网站。 语义分割前言：本系列第六篇文章主要介绍语义分割知识，了解计算机视觉框架OpenMMLab的MMSegmentation工具基本原理及使用，为后续语义分割实战做铺垫。本节内... 查看详情
cityscapes数据集（智能驾驶场景的语义分割）
...面向智能驾驶（辅助驾驶、自动驾驶）场景下的语义分割任务，由于非结构化场景的复杂性，是一个非常具有挑战性的任务，所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。... 查看详情
cityscapes数据集（智能驾驶场景的语义分割）
...面向智能驾驶（辅助驾驶、自动驾驶）场景下的语义分割任务，由于非结构化场景的复杂性，是一个非常具有挑战性的任务，所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。... 查看详情
keras深度学习实战（18）——语义分割详解(代码片段)
Keras深度学习实战（18）——语义分割详解0.前言1.语义分割基本概念2.模型与数据集分析2.1模型训练流程2.2模型输出3.实现语义分割模型3.1加载数据集3.2模型构建与训练小结系列链接0.前言在《使用U-Net架构进行图像分割》... 查看详情
基于深度学习的图像语义分割技术概述之5.1度量标准
...niquesAppliedtoSemanticSegmentation:原文链接5.1度量标准为何需要语义分割系统的评价标准？为了衡量分割系统的作用及贡献，其性能需要经过严格评估。并且，评估须使用标准、公认的方法以保证公平性。系统的多个方面需要被测试以... 查看详情
无法读取 Sagemaker 语义分割模型批量转换输出文件
】无法读取Sagemaker语义分割模型批量转换输出文件【英文标题】：NotabletoreadSagemakerSemanticSegmentationModelBatchTransformationOutputfile【发布时间】：2021-02-0923:06:18【问题描述】：目前我已经部署了一个语义分割模型和一个端点，我可以... 查看详情
如何使用keras评估多类分类的结果？
】如何使用keras评估多类分类的结果？【英文标题】：Howtoevaluatetheresultsofmulti-classclassificationbyusingkeras?【发布时间】：2019-07-2300:18:44【问题描述】：我想将深度学习用于多类分类（softmax、keras）。所以，我构建了模型，我得到了... 查看详情