视频目标检测

哈哈哈 哈哈哈     2022-09-30     128

关键词:

TCNN 

  • 静态图像中目标检测(rcnn,fast rcnn, faster rcnn, yolo, ssd 等)
  • 上下文信息
    • 使用图像检测算法将视频帧当做独立的图像来处理并没有充分利用整个视频的上下文信息。虽然说视频中可能出现任意类别的目标,但对于单个视频片段,只会出现比较少的几个类别,而且这几个类别之间有共现关系(出现船只的视频段中可能会有鲸鱼,但基本不可能出现斑马)。所以,可以借助整个视频段上的检测结果进行统计分析:对所有检测窗口按得分排序,选出得分较高的类别,剩余那些得分较低的类别很可能是误检,需对其得分进行压制(如图2)。经过MCS处理后的检测结果中正确的类别靠前,错误的类别靠后,从而提升目标检测的精度。
  • 运动传播:将当前帧中的location和置信度信息传递给相邻帧,(光流向量)
    • 单帧检测结果存在很多漏检目标,而相邻帧图像检测结果中可能包含这些漏检目标。所以我们可以借助光流信息将当前帧的检测结果前向后向传播,经过MGP处理可以提高目标的召回率。如图1所示将T时刻的检测窗口分别向前向后传播,可以很好地填补T-1和T+1时刻的漏检目标。
  • 基于Tracking 重新计算得分   tublet 
      • 使用图像目标检测算法获取较好的检测结果;
      • 从中选取检测得分最高的目标作为跟踪的起始锚点;
      • 基于选取的锚点向前向后在整个视频片段上进行跟踪,生成跟踪轨迹;
      • 从剩余目标中选择得分最高的进行跟踪,需要注意的是如果此窗口在之前的跟踪轨迹中出现过,那么直接跳过,选择下一个目标进行跟踪;
      • 算法迭代执行,可以使用得分阈值作为终止条件。

      得到的跟踪轨迹既可以用来提高目标召回率,也可以作为长序列上下文信息对结果进行修正。

结合光流,实现特征图的帧间传播和复用。

Deep Feature Flow

  • 在关键帧进行特征图提取,比较耗时。所以间隔进行,非关键帧通过传播得到。
  •  

F 为两帧得到的光流信息,光流计算较慢,所以在(deep learning for video saliency detection)中直接将两帧图像送入网络学习时域信息,而不是计算光流信息。

 

Flow-Guided Feature Aggregation for Video Object Detection

  • 光流网络(flownet)预测相邻帧和该帧之间的motions

 

t 帧得到的光流特征不明显,而t+10, t-10 的明显,用motion-guided spatial warping预测帧之间的motion,将这些特征融合。将融合后的feature map fed to detection network得到最后的检测结果

 

tracking---TLD

tracking learning detection:TLD是对视频中未知物体长时间跟踪的算法。

TLD算法主要由三个模块构成:追踪器(tracker),检测器(detector)和机器学习(learning)

常用的方法有两种,一是使用追踪器根据物体在上一帧的位置预测它在下一帧的位置,但这样会积累误差,而且一旦物体在图像中消失,追踪器就会永久失效,即使物体再出现也无法完成追踪;另一种方法是使用检测器,对每一帧单独处理检测物体的位置,但这又需要提前对检测器离线训练,只能用来追踪事先已知的物体。

        追踪器的作用是跟踪连续帧间的运动,当物体始终可见时跟踪器才会有效。追踪器根据物体在前一帧已知的位置估计在当前帧的位置,这样就会产生一条物体运动的轨迹,从这条轨迹可以为学习模块产生正样本(Tracking->Learning)。
        检测器的作用是估计追踪器的误差,如果误差很大就改正追踪器的结果。检测器对每一帧图像都做全面的扫描,找到与目标物体相似的所有外观的位置,从检测产生的结果中产生正样本和负样本,交给学习模块(Detection->Learning)。算法从所有正样本中选出一个最可信的位置作为这一帧TLD的输出结果,然后用这个结果更新追踪器的起始位置(Detection->Tracking)。
        学习模块根据追踪器和检测器产生的正负样本,迭代训练分类器,改善检测器的精度(Learning->Detection)。

 

光流法:

梯度下降的优化方法,空间运动物体在观察成像平面上的像素运动的瞬时速度。是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息的一种方法。

其计算方法可以分为三类:

(1)基于区域或者基于特征的匹配方法;

(2)基于频域的方法;

(3)基于梯度的方法;

光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”。

目标检测与识别车辆信息原理与实践详解(代码片段)

...计算机视觉中的一个重要研究领域,它的任务是从图像或视频中找到并标注出其中的目标物体。而识别车辆信息则是在目标检测的基础上,对于车辆进行进一步的分析和识别,例如车辆的类型、颜色、速度等等。目标检测与识别... 查看详情

视频监控智能交通数据集(目标检测跟踪)

前言总结一下视频监控的数据集,用于目标检测、跟踪,持续跟新中..........。一、UA-DETRAC数据集UA-DETRAC是一个具有挑战性的真实世界多目标检测和多目标跟踪基准。该数据集包括在中国北京和天津的24个不同地点使用Canno... 查看详情

目标检测基于matlabgui背景差分算法视频运动物体跟踪含matlab源码1915期(代码片段)

一、背景差分法和帧间差分法的车辆运动目标检测简介1引言运动目标检测是从图像序列中检测运动目标.通过运动目标检测可以得到图像中的运动目标,获取图像中的运动信息.运动目标检测在医学辅助诊断、航天航空、军事导弹... 查看详情

我收集的一些目标检测跟踪识别标准测试视频集和图像数据库

一个网友收集的运动目标检测,阴影检测的标准测试视频http://blog.csdn.net/sunbaigui/article/details/6363390 很权威的changedetection检测视频集,里面有将近20种主流算法在这个测试集上的运行结果和ROC,PRA曲线http://changedetection.net/ VIV... 查看详情

无人机视频图像运动目标检测算法综述------2019年-------------

...xff1a; 国内外研究:目前,国内外学者利用无人机视频图像开展运动目标检测大多将研究重点放在典型运动目标——车辆上,例如美国[3]德国[4]等,我国也开展了利用无人机检测运动车辆的研究[5]。1997年,美国设立VSAM视... 查看详情

从零开始学习目标检测:yolo算法详解(代码片段)

...目标检测是备受关注的领域之一。目标检测是指在图像或视频中检测出目标的位置和边界框,然后对目标进行分类或识别。目标检测在计算机视觉领域中具有非常重要的应用,如目标跟踪、目标检索、视频监控、图像字... 查看详情

opencv项目实战目标检测:自动检测出现的所有动态目标(代码片段)

...制物体轮廓+绘制矩阵轮廓2.3、连续窗口显示2.4、读取视频,显示视频,保存视频三、项目实战:实时动态目标检测实时动态目标检测一、项目思路1、获取视频、读取帧图像2、计算连续两张图像的像素绝对差获取... 查看详情

基于yolov3的行人目标检测算法在图像和视频中识别检测(代码片段)

...人目标检测算法,并将该目标检测算法应用在图像和视频的识别检测之中。实现的主要功能有:对静态图像(jpg、png)中的行人进行识别,并框选出行人目标所在位置对视频文件中的行人进行逐帧检测,并生成标记... 查看详情

货品目标检测样本制作方法(代码片段)

...为了制作该图片,设计方法如下:1、拍摄该样品360度的视频2、将视频抓帧3、将图片通过opencv拼装成样本拍摄视频如下并抓帧的程序如下:importosimportcv2path="F:/objectdect/avi/" 查看详情

[ai开发]基于深度学习的视频多目标跟踪实现

...标跟踪大概有两种方式:Option1基于初始化帧的跟踪,在视频第一帧中选择你的目标,之后交给跟踪算法去实现目标的跟踪。这种方式基本上只能跟踪你第一帧选中的目标,如果后续帧中出现了新的物体目标,算法是跟踪不到的... 查看详情

视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)

...动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目,翻阅了大量资料,也借鉴了不少项目,于是打算通过yolov5实现目标检测,deepsort实现目标跟踪以及sl... 查看详情

视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)

...动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目,翻阅了大量资料,也借鉴了不少项目,于是打算通过yolov5实现目标检测,deepsort实现目标跟踪以及sl... 查看详情

目标检测英雄联盟能用yolov5实时目标检测了支持onnx推理(代码片段)

...数据5.修改配置6.执行训练五、执行预测1.检测图片2.检测视频3.heatmap五、转换onnx1.导出onnx文件2.检测图片3.检测视频一、项目介绍        dcmyolo(dreamscreatemiracles) 查看详情

使用yolov5实现图片视频的目标检测

...我将从官方代码开始,一步一步展示如何进行图片、视频识别首先从GitHub下载官方代码(也可以从下面链接获取):链接:https://pan.baidu.com/s/16wzV899D90TY2Xwhx4TwhA提取码:vzvj将环境切换到之前配置完成的yolo... 查看详情

pyqt搭建yolov5目标检测界面(代码片段)

...+源代码)实现效果如下所示,可以检测图片、视频以及摄像头实时检测。实现效果如下所示,可以检测图片、视频以及摄像头实时检测。具体细节实现可以参考上一篇博客:Pyqt搭建YOLOV3目标检测界面(超... 查看详情

videoobjectdetectionwithanalignedspatial-temporalmemory

摘要:  本文针对视频目标检测问题提出时空记忆网络(STMN)。它的核心是时空记忆模块,作为一种递归计算单元去建模长时间目标外观和运动信息。STMN可以用一个预训练的CNNbackbone进行初始化,这对提高检测精度非常重要。本... 查看详情

目标检测实战教程01-使用labelimg标注目标检测数据集|voc转coco数据集(代码片段)

...教程01-使用labelimg标注目标检测数据集|voc转COCO数据集b站视频演示:B站视频教学对图像进行编号将收集到的图像进行编号方便统一管理,编号代码如下importospath="E:\\\\image1"filelist=os.listdir(path)#该文件夹下所有... 查看详情

一文带你学会使用yolo及opencv完成图像及视频流目标检测(上)|附源码(代码片段)

计算机视觉领域中,目标检测一直是工业应用上比较热门且成熟的应用领域,比如人脸识别、行人检测等,国内的旷视科技、商汤科技等公司在该领域占据行业领先地位。相对于图像分类任务而言,目标检测会更加复杂一些,不... 查看详情