ai佳作解读系列-目标检测二十年技术综述

carsonzhu carsonzhu     2022-12-12     710

关键词:

计算机视觉中的目标检测,因其在真实世界的大量应用需求,比如自动驾驶、视频监控、机器人视觉等,而被研究学者广泛关注。
 
上周四,arXiv新出一篇目标检测文献《Object Detection in 20 Years: A Survey》,其对该领域20年来出现的技术进行了综述,这是一篇投向PAMI的论文,作者们review了400+篇论文,总结了目标检测发展的里程碑算法和state-of-the-art,并且难能可贵的对算法流程各个技术模块的演进也进行了说明,还深入到目标检测的特定领域,如人脸检测、行人检测等进行了总结,最后列举了未来可能的发展方向。温故而知新,该论文极具参考价值!
 
技术图片
 
作者来自美国密歇根大学、北京航空航天大学、滴滴出行。下图是作者在谷歌学术检索目标检测相关关键字返回的历年文献数量,可见该领域20年来越来越受到学术界的关注。2018年有将近1200篇相关文献发表。

技术图片

 
  • 目标检测路线图
作者将目标检测近20年来的里程碑算法画在时间轴上,如下:

技术图片

 
可见作者将算法大致分为2012年之前的传统检测方法与2012年之后出现的基于深度学习的检测方法。传统方法比如我们所熟知的V-J检测、HOG检测、DPM算法。深度学习方法截然不同的分为两条技术路径:单阶段检测算法与两阶段检测算法。同时作者把目标检测的一些精度提高的方法的出现也列在了时间轴上,比如bounding box regression、multi-resolution detection等。
 
在目前最知名的评估数据集VOC 2007 、VOC 2012、 COCO上不同年份出现的算法精度提高,如下图:

技术图片

可见,深度学习在检测领域的开山之作,RCNN取得了大幅度精度提高,开辟了检测的新时代。而今年新出的TridentNet是目前在COCO数据集上取得较高精度的算法。
 
  • 目标检测数据集
作者总结了通用目标检测及几个特定目标检测的数据集。通用目标检测领域常用数据集:

技术图片

 
几个常用数据集的示例图片:

技术图片

 
行人检测常用数据集:

技术图片

 
人脸检测常用数据集:

技术图片

 
文本检测常用数据集:

技术图片

 
交通灯检测与交通标志检测常用数据集:

技术图片

 
遥感目标检测常用数据集:

技术图片

 
  • 目标检测技术演进
作者将目标检测中涉及的各种技术的演进铺展开来,让我们能就单一技术看到发展路径。早期目标检测算法代表:

技术图片

 
多尺度检测技术演进路线:

技术图片

 
包围框回归技术演进路线:

技术图片

 
目标上下文建模技术演进路线图:

技术图片

 
包围框非极大抑制(NMS)技术演进路线图:

技术图片

 
难检测负样本挖掘技术演进路线图:

技术图片

 
  • 目标检测计算加速
目标检测天生是计算密集型任务,所以从其在其发展的各个阶段,目标检测算法的加速就是一个重要议题。作者总结的目标检测计算加速方法:

技术图片

可见主要是在三个层次加速:
  • 数值计算层次(如积分图、矢量量化等)
  • 检测引擎层次(网络剪枝与量化、轻量级网络设计等)
  • 检测流程层次(特征图共享、分类器加速、级连检测等)
 
因为目前CNN检测方法是主流,作者列出的近年出现的卷积计算的一些加速方法及其时间复杂度:

技术图片

 
  • 目标检测进展
作者在这部分描述了近三年来state-of-the-art目标检测技术的研究进展:
  1. 更好地引擎(engine):作者将深度学习目标检测网络的骨干网称为其引擎。改进目标检测的一个直接思路就是使用更加先进的骨干网。如下图(相同算法用相同颜色的圆点表示,使用相同引擎的算法结果用一个大括号连接,我们可以轻易看出,使用不同的引擎对最终精度的影响更大):技术图片
  2. 使用更好的特征:1)特征融合;2)学习大感受野的高分辨率特征
  3. 超越滑动窗口:不再是局限于候选区域再分类的模式。作者提到两种新模式:1)子区域搜索 sub-region search。将目标检测看为从初始网格到最终ground truth box的路径规划过程。2)关键点定位。将目标检测看为特定语义点定位的过程。比如:ECCV18 Oral | CornerNet目标检测开启预测“边界框”到预测“点对”的新思路Grid R-CNN解读:商汤目标检测算法
  4. 目标定位改进:1)包围框提精。2)改进loss函数用于较精确定位。比如:CVPR 2019 | 旷视提出新型目标检测损失函数:定位更精准
  5. 检测与分割一起进行:分割可以帮助目标检测提高类别识别的精度、获得更好地目标定位、潜入更加丰富的上下文。分割的网络可以作为目标检测的提取网络,也可以作为多任务学习的损失函数,用以改进目标检测。52CV曾经报道过一篇文章甚至分割完全可以用来替换检测:目标检测:Segmentation is All You Need ?
  6. 旋转和尺度变化鲁棒的目标检测:针对旋转变化鲁棒改进方向:1)旋转不变损失函数;2)旋转校正;3)Rotation RoI Pooling。针对尺度变化鲁棒的改进:1)尺度自适应训练;2)尺度自适应检测。
  7. Training from Scratch:不使用预训练模型,从头开始训练目标检测网络。比如:CVPR 2019 | 京东AI研究院提出ScratchDet,加强对小目标的检测,代码将开源。
  8. 对抗训练:比如有研究表明,GAN可以用来改进小目标的检测。
  9. 弱监督的目标检测:不使用包围框标注,而仅使用图像级的目标标注的算法。减少标注成本。扩大训练集。
 
  • 目标检测应用
作者列举了目标检测的几个特殊应用,包括行人检测、人脸检测、文本检测、交通灯及标志检测、遥感目标检测。

技术图片

技术图片

 

技术图片

 

技术图片

技术图片

指出每种检测任务面临的困难和挑战,并简述了目前应对这些问题的方法。
 
  • 目标检测的未来方向
作者列举了以下几个未来方向:
  1. 轻量级目标检测算法;
  2. 用AutoML设计目标检测算法,比如:Google CVPR 2019成果!用神经架构搜索实现更好的目标检测
  3. 域适应(domain adaptation)改进目标检测;
  4. 弱监督的目标检测;
  5. 小目标检测;
  6. 视频目标检测
  7. 融合其他传感器信息的目标检测。
 
 
最后附上论文地址:https://arxiv.org/abs/1905.05055v1
 
 

人工智能之目标检测系列综述

文章目录前言正文1.传统目标检测2.目标检测-神经网络2-1.R-CNN2-2.FastR-CNN2-3.FasterR-CNN2-4.MaskR-CNN2-5.Yolo2-6.SSD前言参考https://blog.csdn.net/jiaoyangwm/article/details/89111539时间线慢慢补充正文1.传统目标检测在深度学习出现之前,传统的目... 查看详情

26页综述,99篇参考文献!自动驾驶的3d目标检测技术!中国人民大学出品!

...这个表很重要往期推荐阅读:王博Kings:无人驾驶系列知识入门到提高0王博Kings:无人驾驶系列知识入门到提高1王博Kings:无人驾驶系列知识入门到提高2王博Kings:无人驾驶系列知识入门到提高3王博Kings:... 查看详情

带你读ai论文丨用于目标检测的高斯检测框与probiou

摘要:本文解读了《GaussianBoundingBoxesandProbabilisticIntersection-over-UnionforObjectDetection》,该论文针对目标检测任务,提出了新的高斯检测框(GBB),及新的计算目标相似性的方法(ProbIoU)。本文分享自华为云社区《论文解... 查看详情

26页综述,99篇参考文献!自动驾驶的3d目标检测技术!中国人民大学出品!

...这个表很重要往期推荐阅读:王博Kings:无人驾驶系列知识入门到提高0王博Kings: 查看详情

vit社区开放麦#38目标检测新范式!detr系列算法解读-知识点目录

社区开放麦#38目标检测新范式!DETR系列算法解读1.IntrotoDETRDETR论文解读DETR系列算法在MMDet-v2.0实现时的缺陷2.DETR(ECCV2022)3.ConditionalDETR(ICCV2021)4.DAB-DETR(ICLR2022)5.DeformableDETR(ICLR2021)6.DINO(ICLR2023) 查看详情

深度学习目标检测模型综述

...f whaosoftaiot http://143ai.com此分享中调查了基于深度学习的目标检测器的最新发展。还提供了检测中使用的基准数据集和评估指标的简明概述,以及检测任务中使用的一些突出的主干架构。它还涵盖了边缘设备上使用的当代轻... 查看详情

人工智能之目标检测系列综述

文章目录前言正文1.传统目标检测2.目标检测-神经网络2-1.R-CNN2-2.FastR-CNN2-3.FasterR-CNN2-4.MaskR-CNN2-5.Yolo2-6.SSD前言参考https://blog.csdn.net/jiaoyangwm/article/details/89111539时间线慢慢补充正文1.传统目标检测在深度学习出现之前,传统的目... 查看详情

cube技术解读|支付宝新一代动态化技术架构与选型综述

...式下的产物。如标题所述,笔者将持续更新《Cube技术解读》系列文章。本文为Cube系列首篇文章,后续文章笔者会更侧重于技术详解,包括不限于:Cube卡片技术栈一篇 查看详情

cube技术解读|支付宝新一代动态化技术架构与选型综述

...式下的产物。如标题所述,笔者将持续更新《Cube技术解读》系列文章。本文为Cube系列首篇文章,后续文章笔者会更侧重于技术详解,包括不限于:Cube卡片技术栈一篇ÿ 查看详情

计算机视觉系列最新论文(附简介)

计算机视觉系列最新论文(附简介)目标检测1. 综述:深度域适应目标检测标题:DeepDomainAdaptiveObjectDetection:aSurvey作者:WanyiLi,PengWang链接:https://arxiv.org/abs/2002.06797本文共梳理了40篇相关文献,由中科院自动化所学者发布。基... 查看详情

【目标检测算法解读】yolo系列算法二

参考技术Ahttps://blog.csdn.net/Gentleman_Qin/article/details/84349144|声明:遵循CC4.0BY-SA版权协议    建立在YOLOv1的基础上,经过JosephRedmon等的改进,YOLOv2和YOLO9000算法在2017年CVPR上被提出,并获得最佳论文提名,重点解决YOLOv1... 查看详情

挑战目标跟踪算法极限,siamrpn系列算法解读

...列算法,以及刚被CVPR2019收录为Oral的SiamRPN++。此篇文章将解读目标跟踪最强算法SiamRPN系列。背景由于存在遮挡、光照变化、尺度变化等一些列问题,单目标跟踪的实际落地应用一直都存在较大的挑战。过去两年中,商汤智能视... 查看详情

目标跟踪与检测技术介绍

基于有限集统计学理论的目标跟踪技术研究综述杨威,付耀文,龙建乾,... - 《电子学报》 - 2012 - 被引量: 31有限集统计学理论为杂波背景下的目标跟踪问题提供了一种工程友好的理论工具.对近年来基... 查看详情

目标检测算法综述

...。两阶段(Two Stages):首先由算法(algorithm)生成一系列作为样本的候选框,再通过卷积神经网络进行样本(Sample)分类。常见的算法有R-CNN、Fast R-CNN、Faster R-CNN等等。基于候选区域(Region Proposal)的,如R-CNN、S... 查看详情

抗衡美中!英国发表十年ai战略目标成世界ai强权

...资进驻,使英国得以朝向「全球人工智能超级强权」目标前进。英国数字、文化、媒体和体育大臣ChrisPhilp于声明表示:「我们正通过一项战略,为未来十年的成长奠定基础,同时帮助 查看详情

详细解读目标检测经典算法-ssd(代码片段)

学习目标:知道SSD的多尺度特征图的网络知道SSD中先验框的生成方式知道SSD的损失函数的设计目标检测算法主要分为两类:Two-stage方法:如R-CNN系列算法,主要思路就是通过SelectiveSearch或者CNN网络产生一系列的稀... 查看详情

目标检测综述

...方法,这里将介绍YOLO[2]-[4],RCNN[5]-[7],SSD[8],RetinaNet[9]系列的方法,其中YOLO,SSD,RetinaNet都是one-stage方法,原始RCNN事multi-stage方法,它的延伸FastRCNN以及FasterRCNN则是two-stage方法。RCNN 查看详情

中科三方,二十年域名安全技术经验铸就信任基石

...、域名解析、域名锁、域名过户转移、域名品牌保护等一系列专业复杂操作,任何一个环节出现故障,都会对域名的正常使用造成影响 查看详情