关键词：
作者：Tom Hardy
Date：2020-05-16
参考：Imbalance Problems in Object Detection paper链接:https://arxiv.org/abs/1909.00169.pdf
主要内容和相关背景
本文主要介绍了目标检测领域的八个数据不平衡问题，并将这些问题分类为四种主要类型：类别不平衡、规模不平衡、空间不平衡和目标不平衡。
当与不同类别相关的示例数量之间存在显著的不平等时，就会出现类别不平衡。虽然这方面的经典例子是前景到背景的不平衡，但前景（正）类之间也存在不平衡。当对象具有不同的比例和属于不同比例的不同数量的示例时，就会出现比例不平衡。空间不平衡是指与bounding box的空间特性有关的一组因素，比如回归惩罚、定位和IoU相关。最后，当存在最小化多个损失函数时，会出现客观不平衡（各个损失函数的权重不均衡），这在OD中通常是如此（例如分类和回归损失）。
现主要有两种目标检测方法：自上而下和自下而上。尽管自上而下和自下而上的方法在深度学习时代之前都很流行，但目前，对象检测方法的大多数都遵循自上而下的方法；自下而上的方法是最近才提出的。本文围绕这两类思路，开展了研究讨论。
目标检测中的四大类数据不均衡问题
主要几种在类别不均衡、尺度不均衡、空间不均衡、优化目标不均衡，详细如下图所示，基于四大类不均衡问题又扩展成8类子问题：前景背景类别不均衡、前景和前景类别不均衡、物体/box尺度上的不均衡、特征层的不均衡、回归损失下的不均衡、IOU分布不均衡、物体位置的不均衡、优化目标的不均衡。
这个问题可以表现为“前景-背景不平衡”，其中背景实例的数量明显超过正实例；或者“前景-前景不平衡”，其中通常只有一小部分类占整个数据集的一大部分。类不平衡通常在检测pipelines中的“采样”阶段处理。
当对象实例具有不同的比例和与不同比例相关的不同数量时，可以观察到尺度比例不平衡。这个问题是物体在本质上具有不同维度这一事实的自然结果。规模也可能导致特征级别的不平衡（通常在“特征提取”阶段处理），不同抽象层（即高级别和低级别）的贡献不平衡。尺度不平衡问题表明，单一尺度的视觉处理不足以检测不同尺度的目标。
空间不平衡是指与bounding box的空间属性相关的一组因素。基于这些空间性质，我们确定了三种空间不平衡的亚类型：（i）“回归损失不平衡”是关于个别例子对回归损失的贡献，与损失函数设计有关（ii）“IoU分布不平衡”（iii）“物体位置不平衡”
当有多个目标（损失函数）要最小化时（每个目标用于特定任务，例如分类和框回归），就会出现目标不平衡。由于不同的目标在其范围和最佳解决方案方面可能不兼容，因此必须制定一个平衡的策略，以找到一个所有目标都可接受的解决方案。
类别不均衡及解决方法
在前景背景类不平衡的情况下，过表示类和欠表示类分别是背景类和前景类。这种类型的问题是不可避免的，因为大多数边界框被边界框匹配和标记模块标记为背景（即负）类。前景背景不平衡问题发生在训练期间，并且不依赖于数据集中每个类的示例数，因为它们不包括背景上的任何注释。
我们可以将背景类不平衡的解决方案分为四类：（i）硬采样方法，（ii）软采样方法，（iii）无采样方法和（iv）生成方法，详细方法汇总如下图所示：
硬采样的思路：设置指定数量或者比例的正负样本（RCNN系列）。
软采样的思路：软抽样通过对训练过程的相对重要性来调整每个样本的贡献（设定样本损失权重）。
无采样方式：设立新的分支，根据前面的样本，预测后面样本的权重。
主要集中在数据集上的类别不均衡，和每个bacth内的类别不均衡。
基于类别不均衡，论文阐述此情况不可避免，可以通过生成新的图像和类别进行解决。
基于batch内的类别不均衡：可以使用在线前景均衡（OFB）抽样，通过给每个要抽样的bounding box分配概率，可以在批处理级别上缓解前景类不平衡问题，从而使批处理中不同类的分布是均匀的。换言之，该方法旨在提升抽样过程中阳性样本数较少的类。虽然该方法是有效的，但性能改善并不显著。
尺度不均衡及解决方法
object/box级别的比例不平衡，主要包括物体和输入box的比例分布不平衡以及特征不平衡（分析了特征提取层存在的问题，并对金字塔特征提取方法进行了研究）
当对象或输入bounding box的某些大小在数据集中过度表示时，会发生尺度平衡。已经证明，这会影响总体检测性能。下图显示了MS-COCO数据集中对象的相对宽度、高度和面积；
解决方法主要包括：基于backbone特征层次的预测方法、基于特征金字塔的方法、图像金字塔方式、图像金字塔与特征金字塔相结合的方法。
针对FPN结构中的特征层次，有几种方法可以解决FPN体系结构中的不平衡问题，从设计改进的自顶向下通道连接到完全新颖的体系结构。论文考虑了使用新的架构来缓解特征级不平衡问题的方法，根据它们作为基础的用途将它们分为两类：使用金字塔或backbone特征作为bias。
空间不均衡及解决方法
尺寸、形状、位置（相对于图像或另一个框）和IoU是边界框的空间属性。这些属性的任何不平衡都可能影响训练和泛化性能。例如，如果不采用适当的损失函数，位置的轻微变化可能导致回归（局部化）损失的剧烈变化，从而导致损失值的不平衡。在这一部分中，我们将具体讨论这些空间属性和回归损失问题。
目标检测的回归损失主要有两类：第一类是基于Lp-norm-based（例如L1，L2）的损失函数，第二个是基于IoU的损失函数。上表显示了广泛使用的回归损失函数的比较。（不断解决了各类损失函数优化问题）
解决方式：Cascade R-CNN、Hierarchical Shot Detector (HSD)、IoU-uniform R-CNN、pRoI Generator
优化目标不均衡及解决方法
目标不平衡是指在训练过程中最小化的目标（损失）函数。通过定义，目标检测需要多任务丢失，以便同时解决分类和回归任务。然而，不同的任务可能会导致不平衡，这是因为以下的差异：（i）梯度的规范对于任务可能是不同的，并且一个任务可以支配训练。（二）不同任务的损失函数范围不同，影响任务的一致性和均衡性优化。（iii）任务的难度可能不同，这会影响学习任务的速度，从而阻碍训练过程。
解决方法：最常见的解决方案是任务权重，它通过一个额外的超参数作为权重因子来平衡损失项。使用验证集选择超参数。当然，增加任务的数量，就像两级检测器一样，会增加权重因子的数量和搜索空间的维度（注意，两级检测器中有四个任务，一级检测器中有两个任务）。由多任务性质引起的一个问题是不同的函数之间可能存在一致性。对于例如，在AP损耗中，smooth L1（由于损耗的输入通常在应用对数变换后提供）与[0，∞）一起用于回归，而LAP∈[0,1]。另一个例子是GIoU loss，它在[-1,1]范围内，与交叉熵损失一起使用。作者将GIoU loss的权重因子设为10，并利用正则化方法来平衡这种幅度差异，保证训练的均衡性。
ai佳作解读系列－目标检测二十年技术综述
计算机视觉中的目标检测，因其在真实世界的大量应用需求，比如自动驾驶、视频监控、机器人视觉等，而被研究学者广泛关注。 上周四，arXiv新出一篇目标检测文献《ObjectDetectionin20Years:ASurvey》，其对该领域20年来出现的技... 查看详情
目标检测算法综述
1.传统的目标检测框架，主要包括三个步骤：（1）利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域；（2）提取候选区域相关的视觉特征。比如人脸检测常用的Harr特征；行人检测和普通目标检测常用的HOG特征等；（3）... 查看详情
基于区域的二阶段算法思想和理解综述
...思想和理解综述待办昨天待办decriptiondecription摘要：图像目标检测是图像处理领域的基础。自从2012年CNN的崛起，深度学习在Detection的持续发力，为这个领域带来了变革式的发展。深度学习出现之前，传统的目标检测方法大概分为... 查看详情
基于深度学习的目标检测算法综述
基于深度学习的目标检测算法综述（一）基于深度学习的目标检测算法综述（二）基于深度学习的目标检测算法综述（三）本文内容原创，作者：美图云视觉技术部检测团队，转载请注明出处目... 查看详情
自动驾驶中的三维目标检测综述
点云PCL免费知识星球，点云论文速读。文章：3DObjectDetectionforAutonomousDriving:ASurvey作者：RuiQian,XinLai,andXirongLi编译：点云PCL来源：arXiv2021欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章... 查看详情
[转]目标检测入门之综述（上）
导言：目标检测的任务表述 如何从图像中解析出可供计算机理解的信息，是机器视觉的中心问题。深度学习模型由于其强大的表示能力，加之数据量的积累和计算力的进步，成为机器视觉的热点研究方向。 那么，如何理... 查看详情
史上最全综述|3d目标检测算法汇总！（单目/双目/lidar/多模态/时序/半弱自监督）
史上最全综述|3D目标检测算法汇总！（单目/双目/LiDAR/多模态/时序/半弱自监督）2022-09-0209:06计算机视觉life”，选择“星标”快速获得最新干货本文转载自自动驾驶之心1摘要近年来，自动驾驶因其减轻驾驶员... 查看详情
图像分割中的loss--处理数据极度不均衡的状况(代码片段)
序言：对于小目标图像分割任务，一副图画中往往只有一两个目标，这样会加大网络训练难度，一般有三种方法解决：1、选择合适的loss，对网络进行合理优化，关注较小的目标。2、改变网络结构，使用attention机制。3、类属atten... 查看详情
目标检测综述
...号处理的作业，在这里分享一下，将介绍计算机视觉中的目标检测任务，论述自深度学习以来目标检测的常见方法，着重讲yolo算法，并且将yolo算法与其他的one-stage以及two-stage方法进行比较。目录1.介绍2.YOLO2.1YOLOv12.2YOLOv22.3YOLOv33.... 查看详情
深度学习目标检测模型综述
...f whaosoftaiot http://143ai.com此分享中调查了基于深度学习的目标检测器的最新发展。还提供了检测中使用的基准数据集和评估指标的简明概述，以及检测任务中使用的一些突出的主干架构。它还涵盖了边缘设备上使用的当代轻... 查看详情
计算机视觉系列最新论文（附简介）
计算机视觉系列最新论文（附简介）目标检测1. 综述：深度域适应目标检测标题：DeepDomainAdaptiveObjectDetection:aSurvey作者：WanyiLi,PengWang链接：https://arxiv.org/abs/2002.06797本文共梳理了40篇相关文献，由中科院自动化所学者发布。基... 查看详情
小白学ai八种应对样本不均衡的策略
...解决办法2.1重采样（四种方法）2.2调整损失函数2.3异常值检测框架2.4二分类变成多分类2.5EasyEnsemble1什么是非均衡分类(classification)问题是数据挖掘领域中非常重要的一类问题，目前有琳琅满目的方法来完成分类。然而在真实的应... 查看详情
人工智能之目标检测系列综述
文章目录前言正文1.传统目标检测2.目标检测-神经网络2-1.R-CNN2-2.FastR-CNN2-3.FasterR-CNN2-4.MaskR-CNN2-5.Yolo2-6.SSD前言参考https://blog.csdn.net/jiaoyangwm/article/details/89111539时间线慢慢补充正文1.传统目标检测在深度学习出现之前，传统的目... 查看详情
语义分割综述阅读——understandingdeeplearningtechniquesforimagesegmentation
...、自编码等多种深部神经网络正有效地解决无约束环境下目标的检测、定位、识别和分割等具有挑战性的计算机视觉任务。在对目标检测或识别领域进行了大量分析研究的同时，在图像分割技术方面出现了许多新的深度学习技术... 查看详情
【技术综述】多标签图像分类综述
...金时代。作为计算机视觉领域的基础性任务，图像分类是目标检测、语义分割的重要支撑，其目标是将不同的图像划分到不同的类别，并实现最小的分类误差。经过近30年的研究，图像分类已经成功应用至社会生活的方方面面。... 查看详情
综述|生成式对抗网络异常检测
...，如有侵权，联系删除转载于：专知摘要异常检测是许多研究领域所面临的重要问题。探测并正确地将一些看不见的东西分类为异常是一个具有挑战性的问题，多年来已经通过许多不同的方式解决了这个问题。生... 查看详情
deeplearningforgenericobjectdetection:asurvey-论文阅读笔记
DeepLearningforGenericObjectDetection:ASurvey通用目标检测的深度学习：综述//2022.7.12上午8:27开始阅读笔记论文地址DeepLearningforGenericObjectDetection:ASurvey|SpringerLink论文贡献本文的目标是全面综述深度学习技术在这一领域的最新成就，... 查看详情
深度学习在视频多目标跟踪中的应用综述
...展方向摘要论文链接：https://arxiv.org/pdf/1907.12740.pdf多目标跟踪(MOT)的问题包 查看详情
