关键词：
前言 可见光遥感图像目标检测属于计算机视觉下面目标检测的重要分支，其具有常规目标检测的普遍性问题，又具有遥感图像目标检测的特殊性问题，针对遥感图像的特殊性问题与普遍性问题在目标检测的通用框架下做出改变与优化，以解决遥感图像目标检测的特殊性与普遍性问题。首先需要明确通用目标检测框架的部分构成，以便于后续在遥感图像检测问题明确哪部分做出改变，改变的地方怎么用在模型之中，做到提纲挈领，熟稔于心。
本教程禁止转载。同时，本教程来自知识星球【CV技术指南】更多技术教程，可加入星球学习。
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线!!
需要先验知识
1.1、通用目标检测框架构成
现代目标检测框架主要由三个部分组成：
- Backbone:主干网络，用来提取图像特征，广泛应用的网络如Resnet50、Resnet101系列，DenseNet，VGG等等。
- Neck:主要用于进行特征融合等操作，如FPN，PAN及其各种变体。
- Head:预测头，输入backbone和Neck提取的特征最终得到检测结果。
检测器又可以分为单阶段，两阶段、多阶段检测器，也可以分为anchor-based,anchor-free以及transfomer系列query-based等等，在这里不做展开。
1.2、优化思路
根据目标检测框架图，它的优化模型思路也比较清晰了：
- 想办法提高模型提取特征的能力，使用更加强力的Backbone，比如ResNext，Res2Net等等。
- 在Neck层想更多拌饭，考虑更加高效的融合特征，也就有了FPN的各种变种，PAN,Bifpn甚至采用NAS的思路搜索一个最佳的特征融合方案。
- Label Assignment优化，我们知道在目标检测中一个很关键的问题在于如何平衡网络学习的正负例样本，如何选择好的正样本，这些都是Label Assignment方向做的事情。
- 损失函数上的优化，这一部分在不仅仅是目标检测，在不同任务领域都是重中之重，比如平衡正负例样本，难易例样本的Focal loss,比如考虑用任意分布来做回归的GFL等等，面对不同的问题，我们需要设计更贴合实际的损失函数。
主要研究难点
上面讲到了通用目标检测的基本框架和一些常用的优化思路，下面我们一起来看看可见光遥感目标检测中都有哪些难点，它和通用目标检测都有哪些方面的不同。
1、旋转目标的检测问题，一直都是遥感图像目标检测的重要解决的问题。以前基于水平框的方法无法精确的包围遥感图像，所以提议生成带角度的旋转框来包围遥感图像。图2说明了生成旋转框的必要性。
在处理旋转目标的检测问题时候，主要的思路是：1、旋转等变检测器，用来提取旋转不变特征，属于特征提取阶段。2、特征精细化模块，用于特征对齐，属于Head阶段的改进。3、自适应点来学习非轴向特征与任意方向特征，属于特征提取阶段。4、将水平关键点检测用到旋转关键点检测，去除锚框设置，属于Head部分改进。5、设计新的损失函数，属于反向传播优化参数阶段。 2、高纵横比问题，这个问题集中体现在遥感图像中船只的检测上面。因为船只属于瘦长目标，所以当角度发生很小的变化时，其包围框的变化是非常剧烈的。图3展示了高纵横比检测的特殊性。
在处理舰船这种高纵横比的问题上，主要思路是：1、中心点提取，通过关键点来定位舰船中心，属于Head部分改进。2、根据对象的形状信息和特征分布动态选择样本，属于特征提取部分的改进。3、累积特征金字塔，用来增强在各个尺度的语义信息，属于Neck部分改进。3、小目标的检测问题，小目标的检测问题不属于遥感图像特有的检测问题，属于目标检测的普遍性的问题，主要是由于小目标提供的像素点信息较少，无法提取到鲁棒性的特征。图4,展示了遥感目标检测的小目标问题。
在处理小目标的检测问题上，主要的思路是：1、对于提取到的特征分配不同的重加权模块，属于特征提取阶段。2、基于接受区域的标签分配策略，属于Head部分改进。
4、复杂背景问题，由于遥感图像的视角开阔，得到的图像的尺寸往往大于一般的图像，这就使得图像里面的前景信息与背景信息极度不平衡，造成模型学习不到优质的前景信息。还会造成目标的重叠遮挡等问题，这就使得包围框的生成是不够准确的。图五展示了遥感图像中复杂的背景问题。
在处理复杂背景的题上，主要的思路是：1、提出像素级别损失函数，更精确计算IoU面积，属于反向传播优化参数阶段.2、提出学习凸包特征方法，属于特征提取阶段。
5、密集物体检测，密集物体检测也不属于遥感图像专有的问题，密集的物体不利于包围框的生成，造成定位的不准确。图6展示遥感图像中密集物体检测问题。
在处理密集物体检测问题上，主要的思路是：提出新的角度标签编码策略，根据标签来设定新的损失函数，属于反向传播优化参数阶段.
6、遥感图像目标检测的新范式，由于Transormers的横空出世，把cv问题转变为了CNN与Transormers各占据半壁江山，现在也有很多用Transormers来做遥感图像目标检测，并且也取得了不错的效果，Transormers主要的有点是能够学习到图片的全局特征，但是其缺点是需要大量的数据才能够表现出最佳的性能。Transormers与CNN到底鹿死谁手，我们只能拭目以待。
后续的文章我会带大家从上面说到的遥感目标检测面临的实际问题以及不同的解决思路出发，以近年的主要论文为主，详细为大家介绍遥感目标检测~
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。
【技术文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群：470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。
其它文章
一次性分割一切，比SAM更强，华人团队的通用分割模型SEEM来了
CVPR\'23｜向CLIP学习预训练跨模态！简单高效的零样本参考图像分割方法
CVPR23 Highlight｜拥有top-down attention能力的vision transformer
【CV技术指南】咱们自己的CV全栈指导班、基础入门班、论文指导班 全面上线!!
CVPR 2023｜21 篇数据集工作汇总（附打包下载链接）
CVPR 2023｜两行代码高效缓解视觉Transformer过拟合，美图&国科大联合提出正则化方法DropKey
ViT-Adapter：用于密集预测任务的视觉 Transformer Adapter
CodeGeeX 130亿参数大模型的调优笔记：比FasterTransformer更快的解决方案
CVPR 2023 深挖无标签数据价值！SOLIDER：用于以人为中心的视觉
上线一天，4k star | Facebook：Segment Anything
目标检测轻量化压缩
目标检测轻量化压缩目标检测难点概述目标检测是计算机视觉中一个重要问题，在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来，随着深度学习对图像分类准确度的大幅度提高，基于深度学习的目标检测... 查看详情
基于深度学习的图像语义分割技术概述之背景与深度网络架构
...强现实系统。这种需求与机器视觉方面的深度学习领域的目标一致，包括语义分割或场景理解。本文对多种应用领域语义分割的深度学习方法进行概述。首先，我们给出本领域的术语及主要背景知识。其次，介绍主要的数据集及... 查看详情
diffusionmodels在目标检测领域的应用
...大放异彩，得到了越来越多研究人员的关注。但是传统的目标跟踪、目标检测、分类聚合等领域的研究却比较少。最新的diffusionmodels研究成果在目标检测领域成功击败之前其他的方法，达到SOTA，势必在目标检测领域掀起新一番... 查看详情
航空遥感图像(aerialimages)目标检测数据集汇总
...上实验的，但是，基于常规数据集训练的分类器，在航空遥感图像上的检测效果并不好，主要原因是航空遥感图像有其特殊性： 1，尺度多样性，航空遥感图像从几百米到近万米的拍摄高度都有，且地面目标即使是同类目标... 查看详情
技术分享|遥感影像中的旋转目标检测系列
...ransformer的旋转目标检测框架D2Q-DETR 01 背 景 图1：遥感影像中的目标检测与自然影像数据集不同，遥感影像中的目标通常以任意角度出现，如图1所示。自然影像常用的水平框目标检测方法，在遥感影像上的效... 查看详情
目标检测与跟踪的研究热点以及发展趋势
目标检测与跟踪的研究热点以及发展趋势:1)场景信息与目标状态的融合场景信息包含了丰富的环境上下文信息,对场景信息进行分析及充分利用,能够有效地获取场景的先验知识,降低复杂的背景环境以及场景中与目标相似的物体的... 查看详情
目标跟踪检测算法（一）——传统方法
...ttps://blog.csdn.net/qq_34919792/article/details/89893214【嵌牛导读】目标跟踪算法研究难点与挑战在于实际复杂的应用环境、背景相似干扰、光照条件的变化、遮挡等外界因素以及目标姿态变化，外观变形，尺度变化、平面外旋转、平面内... 查看详情
目标检测yolov5遇上知识蒸馏(代码片段)
前言模型压缩方法主要4种：网络剪枝(Networkpruning)稀疏表示(Sparserepresentation)模型量化(Modelquantification)知识蒸馏(Konwledgedistillation)本文主要来研究知识蒸馏的相关知识，并尝试用知识蒸馏的方法对YOLOv5进行改进。知识蒸馏理... 查看详情
星载遥感探测器对大气成分进行光谱分析的方法,原理
...信息。根据所利用的波段,遥感监测技术主要分为紫外、可见光、反射红外遥感技术;热红外遥感技术和微波遥感技术三种类型。<BR>大气环境遥感监测作为遥感技术应用中较为重要的内容之一,在业务上不同于常规气象要素的... 查看详情
[yolo专题-1]：总体-概述发展史与学习路径
...details/122118363目录第1章 什么是YOLO1.1概述1.2YOLO的优点1.3 目标检测的发展史1.4 YOLO的发展史第2章YOLO的主要内容与脉络2.1主要内容2.2学习方法2.3学习进程参考：第1章 什么是YOLO：YouOnlyLookOnce1.1概述YOLO是一种优秀的目标检... 查看详情
机器学习1(高清重制版)
...并且具有肤色和合理瞳距的目标。目标检测任务一般使用可见光视频作为主要的输入来源，这也是最低成本的方式。然而在可见光条件不好或提供辨识度不足的情况下，通常结合使用其他输入来源来替代或辅助，以取得更好的效... 查看详情
遥感图像目标检测数据集
目前国内外开发了很多可以用于遥感图像目标检测任务的公开基准数据集，常用的有NWPUVHR-10和DOTA两种。NWPUVHR-10提取码：73z5NWPUVHR-10遥感数据集是由西北工业大学公布的用于遥感图像目标检测的公开数据集，包含1... 查看详情
国家自然科学基金十三五发展规划
6．信息科学部优先发展领域 （1）海洋目标信息获取、融合与应用 主要研究方向：海上目标探测、识别理论及方法；水下目标探测机理和识别方法；水下通信与海空一体信息传输；海洋目标环境观测与信息重构；异质异... 查看详情
深度学习之目标检测常用算法原理+实践精讲
...家从整体上了解本门课程的整体脉络。1-1课程导学第2章目标检测算法基础介绍本章节主要介绍目标检测算法的基本概念、传统的目标检测算法、目前深度学习目标检测主流方法（one-stage、two-stage、多任务网络）、相关算法的基... 查看详情
cvpr2020|物体可见性信息在3d检测中的探索
...已经被CVPR20接收（oral），该文的主要内容是基于点云的3D目标检测，与以往的研究内容不同的是，本文基于观察发现在BEV视图中无法区分free和unknown区域，如下图中(a)展示的两个红色框所示，在BEV看上去都是不包含点的freespace。... 查看详情
图像工程——目标检测与目标跟踪
...衰减最优；运算效率高算法缺点：把阴影当做前景；运动目标不完整。优点：算法实现简单，程序设计复杂度低，运行速度快；动态环境自适应性强，对场景光线变化不敏感。优点：实时性高将单个目标的跟踪问题看作是MDP过程... 查看详情
目标检测领域中的数据不均衡问题综述
作者：TomHardyDate：2020-05-16来源：目标检测领域中的数据不均衡问题综述参考：ImbalanceProblemsinObjectDetectionpaper链接:https://arxiv.org/abs/1909.00169.pdf主要内容和相关背景本文主要介绍了目标检测领域的八个数据不平衡问题，并将这些问... 查看详情
目标检测中背景建模方法
本文转载自 http://cvchina.net/post/61.html最近一直在做前景检测方面的研究，刚开始主要是做一些工程性的应用，为了解决工程方面的问题，下了不少功夫，也看了不少最近国内外的文章。一直想做个总结，拖着... 查看详情