无人机视频图像运动目标检测算法综述------2019年-------------

一不愿透露姓氏的高先生 一不愿透露姓氏的高先生     2023-04-02     282

关键词:

本篇为该综述阅读笔记

论文出处:

 

国内外研究:

目前,国内外学者利用无人机视频图像开展运动目标检测大多将研究重点放在典型运动目标——车辆上,例如美国[3]德国[4]等,我国也开展了利用无人机检测运动车辆的研究[5]。

1997年,美国设立VSAM视觉监控项目。将摄像机固定在高处或搭载在飞行器上对地面实施视频监控,并利用机载摄像机获得的数据进行车辆检测[6];

2005 年,中央佛罗里达大学设计了COCOA系统,该系统对无人机拍摄的视频进行处理,进行运动目标检测,并复现目标的运动轨迹[7];

Shastry A.C等[8]为消除直升机自身运动造成的视频图像不稳定,运用特征跟踪自动确定控制点对应关系的配准方法,提高了配准精度,并在此基础上运用帧差法进行运动目标检测,但只有 65%的检测精度;

Abdelwahab等[9]提出一种适用于机载和固定摄像机的视频图像运动车辆检测技术,该技术提取特征点并进行跟踪,通过测量每个特征点周围像素的直方图变化以除去背景,从而获得属于前景的特征点,再根据运动特性将特征点分为不同车辆目标;

董晶[10]等提出一种无人机视频图像运动目标实时检测算法,利用配准结合帧差法获取运动区域,实现了低复杂度场景下的运动目标快速提取,但对所占像素较少、运动速度较慢的目标在检测上存在局限性;

彭博蔡晓禹等[11-12]针对无人机视频图像的运动车辆检测,提出对称帧差结合分块背景建模法,将检测出的车辆用矩形框出,并建立了算法评价体系,算法正确检测率较高,基本不会将同一辆车重复检测,但不能完整检测出部分车体颜色与路面灰度较为接近的车辆,如黑、灰色车辆。

研究对象:无先验,利用算法直接处理数据

运动估计算法:

运动补偿:

1.空间运动估计方法:光流法、像素递归法...

2.频域运动估计方法:傅里叶变换、小波变换、WHT变换、DCT变换

特征法:

钟平等[17]提出了一种利用特征点匹配进行运动矢量估计的算法。算法首先将点特征与边缘特征相结合,提取出的明显且稳定性好的特征;然后利用均值滤波确定运动参数,实现对图像平移和旋转的运动补偿,实验表明,算法对于提高动态图像的稳定性有较好的效果;

武艳美等[18]改进块匹配算法,利用圆形块进行匹配以解决图像发生大角度旋转时运动估计不精确的问题。实验表明,算法能在大角度旋转或平移下得到准确的运动参数,但无法处理图像尺度变化;

宋宇等[19]根据航拍视频的成像特点,计算相邻之间全局运动的六参数近似变换模型并采用角点特征提取出有效的匹配点,实现图像的运动补偿

运动补偿依赖于图像配准精度,对于无人机视频图像,高精度图像配准存有很大难度。首先,无人机本身存在无规律的抖动,这使得视频中光照,形状等发生改变,选择基于特征点的匹配如灰度,纹理等,均会受到干扰,难以准确匹配;同时由于画面中存在运动目标,而运动目标不可以当做配准的特征点,故当视频中运动目标较多时也会造成较大匹配误差。对于图像配准的研究结果表明,现有配准模型众多,但大都具有局限性,对使用场景和数据类型要求很高,无法实现普遍适用目前对图像进行配准通常需要具体问题具体分析,结合场景特点进行特定处理,这会使得算法运算量巨大,同时增加运动目标的检测时间。

运动目标检测算法:

主流: 帧间差法、背景建模法、光流法 ----------------------近几年改进------------------------>

帧间差法:该算法比较图像序列中连续两顿所有对应位置的像素点,按照一定的规则计算对应点之间的差值,若其大于某设定的阈值,则认为该位置有运动目标,并加以提取。

 

Gang 等[23]将canny 边缘检测引人三帧差法,使检测出的目标更加完整。该方法可以抑制帧差法产生的重影、目标内部及边缘缺失等现象,但无法改善强光个明显阴影造成的影响,对动态场景的适应能力也较差。

谢红等[24] 提出一种结合边缘检测的改进三帧差算法,该算法在提取完整运动目标的同时不会增添冗余的边缘信息;然后将算法与 Vibe算法相结合,消除了 Vibe 算法可能导致的“拖影”现象,算法对光照突变具有一定的适应性;

陈宝远等[25]提出一种改进的三帧差分运动目标检测算法。该算法改进之处在于,用自适应阈值代替传统三顿差分法的固定闽值对图像进行二值化,减少噪声;算法抗干扰性较好,但当运动目标颜色与背景较为接近时会出现漏检、运动目标提取不完整的现象。

背景建模法:该算法通过对当前图像与背景图像做差来检测运动区域。具体来说,算法先得到场景的静态背景初始化模型,然后与当前进行对比,剔除其中的背景,得到运动目标。 

实际情况中,背景经常发生变化,这便需要对静态背景模型不断更新,以得到更准确的结果

 

 

难点:背景建模

方法:非回归递推(根据数据样本建立背景模型):均值法、中值法

  回归递推(不需预先输入数据样本;自适应):运动平均法、高斯背景建模法

Vibe算法[28-29](背景建模法的特例,19年最优):使用单幅图像建立背景模型,更新时只随机选取像素及其邻域进行更新,计算速度快,占用内存小。

光流法:

1981最早提出[31]:运动目标在图像平面上进行二维投影,得到运动场,当目标运动时,其灰度的瞬时变化率反应在运动场上,形成的变化率的集合称为光流场。

此种光流可以反应出图像的变化,因此可以用于运动目标检测[32]。

 

 

 

光流法可以在相机等设备发生移动的情况下检测出物体的运动状况,但是由于运算过程需要不断迭代,导致算法运行时间长,实时性较差[33]。

后续为克服算法运算量大的缺点出现了计算稠密光流的 Lucas-Kanade算法[34]。

Barrir 等[35]通过添加动量项使算法的收敛速加快;

刘洪彬等[36]同样为缩短光流法运行时间,提出了权重自适应的光流算法,检测出的运动目标明显,噪音少,且可以满足光流法的最优次优性能

其他方法[37-46]

分析与讨论:

无人机的飞行状态除去起飞和降落之外,大致可分为悬停状态与巡航状态,在这两种状态下获得的视频图像具有不同的特点[47]。

无人机在悬停状态可以基本实现稳定的拍摄视频,但机翼旋转和外界风力影响会使画面出现抖动,导致视频背景存有不规律运动;

无人机巡航状态指的是无人机进行前飞、后飞等平移飞行状态,在此时拍摄的视频图像中,图像在短时间内偏移量很大,除运动目标外,背景也存在大幅变化和运动,适用于固定摄像机的传统图像处理方法均不能很好的解决无人机视频图像的运动目标检测问题。

 

结论:

当处理无人机拍摄的数据时,需要根据无人机的运动信息和图像特点仔细选取合适的算法,才能获得较好的检测结果。后续出现的新型算法(19年)只对无人机视频图像存在的某方面干扰因素有一定的鲁棒性。而在真实场景中,干扰因素通常是复杂和多方面的。如何能将这些手段融合,以便可以同时应对场景中多个干扰因素,将是进一步研究的重要关注点。

无人驾驶(三)行人跟踪算法

...动状态来预测行人轨迹的变化。首先设定初始参数,读取视频序列。然后进行背景估计,产生初始化背景图像。然后依次读取视频序列,利用Kahnan滤波算法,根据上一帧估计的背景和当前帧数据得到当前帧的前景目标。然后对前... 查看详情

数字图像处理帧差法与kirsch边缘检测实现运动目标识别与分割(代码片段)

...n.net/qq_18234121/article/details/82763385作者:冻人的蓝鲸梁思成视频分割算法可以从时域和空域两个角度考虑。时域分割算法利用视频流时域连续性,通过相邻帧的时域变化来检测运动目标。在摄像头静止的情况下,常用的方法有帧差... 查看详情

运动对象检测和描述

...,追踪人脸,检测前景/背景区域和深度,I/O功能等Opencv:视频颜色识别与跟踪Python实现建模并适应背景基于Python的OpenCV图像处理18利用opencv进行移动物体检测阈值化分割基于颜色阈值分割的视觉跟踪基于颜色特性的目标检测方法... 查看详情

ai佳作解读系列-目标检测二十年技术综述

...检测,因其在真实世界的大量应用需求,比如自动驾驶、视频监控、机器人视觉等,而被研究学者广泛关注。 上周四,arXiv新出一篇目标检测文献《ObjectDetectionin20Years:ASurvey》,其对该领域20年来出现的技术进行了综述,这是... 查看详情

我收集的一些目标检测跟踪识别标准测试视频集和图像数据库

一个网友收集的运动目标检测,阴影检测的标准测试视频http://blog.csdn.net/sunbaigui/article/details/6363390 很权威的changedetection检测视频集,里面有将近20种主流算法在这个测试集上的运行结果和ROC,PRA曲线http://changedetection.net/ VIV... 查看详情

目标检测算法是啥?

...计算机视觉领域的一种重要技术,它能够自动地从图像或视频中检测出特定的目标,并给出它们在图像中的位置和大小等信息。目标检测算法的应用非常广泛,例如安防监控、自动驾驶、智能物流等领域都需要使用目标检测算法... 查看详情

图像工程——目标检测与目标跟踪

...用MDP来建模一个物体,主要包括四个成分:应用实例1:视频监控应用实例2:导弹飞机识别(1).首先对飞机红外图像做处理,包括平移旋转缩放等等模拟飞机的运动,得到连续帧图像作为实验样本。(2).使用聚类算法判断红外图像... 查看详情

视觉跟踪综述

目标跟踪是绝大多数视觉系统中不可或缺的环节。在二维视频跟踪算法中,基于目标颜色信息或基于目标运动信息等方法是常用的跟踪方法。从以往的研究中我们发现,大多数普通摄像头(彩色摄像头)下非基于背景建模的跟踪... 查看详情

计算机视觉computervision综述(代码片段)

...(ObjectDection),指的是在图像定位基础之上,输入图片/视频,经过处理,得到多个目标的位置信息(左上角和右下角的坐标)、目标的预测类别、目标的预测置信度(confidence)。算法包括R-CNN、FastR-CNN、FasterR-CNN、YOLO、SSD、Reti... 查看详情

目标检测基于matlabgui差分法运动目标检测含matlab源码1284期

...要方法有背景差分法、帧间差分法、光流法3种。本文对视频中动态场景的运动车辆进行实时检测,解决目标轮廓缺失、背景无法实时更新的问题。1帧间差分法1.1二帧间差分法帧间差分法是基于运动图像序列中相邻两帧图像间具... 查看详情

运动目标检测——光流法与opencv代码实现

...从序列图像中将变化区域从背景图像中提取出来,常用于视频监视、图像压缩、三维重构、异常检测等。运动目标检测主流方法有帧差法、背景差法、光流法等。光流法源于仿生学思想,更贴近于直觉,大量昆虫的视觉机理便是... 查看详情

目标跟踪检测算法(一)——传统方法

...2)帧差:由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为运... 查看详情

基于区域的二阶段算法思想和理解综述

...算法思想和理解综述待办昨天待办decriptiondecription摘要:图像目标检测是图像处理领域的基础。自从2012年CNN的崛起,深度学习在Detection的持续发力,为这个领域带来了变革式的发展。深度学习出现之前,传统的目标检测方法大概... 查看详情

4.基于深度学习的目标检测算法的综述(转)

4.基于深度学习的目标检测算法的综述(转)原文链接:https://www.cnblogs.com/zyly/p/9250195.html目录一相关研究1、选择性搜索(SelectiveSearch)2、OverFeat二、基于区域提名的方法1、R-CNN 2、SPP-Net3、FastR-CNN4、FasterR-CNN5、R-FCN 三端对端的... 查看详情

深度学习(综述,2015,应用)

...ideoAnalyticsforASmartCity:ASurvey1.目标检测目标检测的目标是在图像中精确定位目标的位置。已经提出了许多使用深度学习算法的工作。我们回顾如下一些有代表性的工作:Szegedy[28]修改了深度卷积网络,用回归层代替最后一层,目的... 查看详情

[autocars]基于计算机视觉的无人车感知

...里程计算法)4OpticalFlow和立体视觉OpticalFlow:图片序列或视频中像素级的密集对应关系,例如在每个像素上估算一个二维的偏移矢量,得到的OpticalFlow以二维的矢量场表示。---基于单个摄像头在连续时刻的图像。立体视觉:从两... 查看详情

深度学习在视频多目标跟踪中的应用综述

文章目录摘要1、简介2、MOT:算法、指标和数据集2.1、MOT算法简介2.2、指标经典的指标完整的MOT指标ID分数2.3、基准数据集3、MOT中的深度学习3.1、深度学习中的检测步骤3.1.1、FasterR-CNN3.1.2、SSD3.1.3、Otherdetectors3.1.4、cnn在检测步骤中... 查看详情

深度学习在视频多目标跟踪中的应用综述

文章目录摘要1、简介2、MOT:算法、指标和数据集2.1、MOT算法简介2.2、指标经典的指标完整的MOT指标ID分数2.3、基准数据集3、MOT中的深度学习3.1、深度学习中的检测步骤3.1.1、FasterR-CNN3.1.2、SSD3.1.3、Otherdetectors3.1.4、cnn在检测步骤中... 查看详情