目标跟踪实战deepsort+yolov5(上)

Huterox Huterox     2022-12-07     615

关键词:

文章目录

前言

今天的主要目的还是快速上手目标跟踪,先前的话我是简单说了一下卡尔曼滤波,然后由于博客的问题,没有说完。本来是想做一个系列的,但是很难整理,而且说实话有些东西我也没搞清楚。当然这并不影响我们使用,抽象一下继续happy,就像你不懂SpringBoot 或者Django底层一样,还是阔以做出一个网站的。

算法简介

首先我们这边的话其实整个项目呢,是两个部分,一个是目标的追踪部分,还有一个是目标的识别检测部分。我们要先检测出来一个物品,我们才能去跟踪,同时这个算法也是基于目标检测算法来的。

他们之间的关系就是这样的:


那么目标检测的话这里就不多说了。

可以参考这几篇博文:

GitHub 水项目之 快速上手 YOLOV5

YOLOV5 参数设定与模型训练的坑点一二三

YOLOV1论文小整理
以及这篇博文:
手把手教你如何自制目标检测框架(从理论到实现)

所以我们这边主要就是咱们deepsort的一个情况。

sort算法

说到这个玩意就还得得先说说sort算法。

前面在说到目表跟踪的时候,我们说到了卡尔曼滤波
但是这个只是解决了一个问题,就是我们预测改物体下一个框可能存在的位置,之后我们计算一些IOU确定一下这个下一个框确定是我们的目标物体的,从而确定他的轨迹完成目标跟踪。

但是我们先前假设的是单目标的一个情况,如果是多目标的话,还涉及到如何去分配一个跟踪的目标的问题。也就是给目标不同的标号,然后识别预测到他的轨迹之后,确定这个轨迹是哪个目标的。

所以这个sort算法其实有两个部分,也就是为了完成我们的一个目标跟踪。

一个是匈牙利算法,目的是为了确定谁是谁,一个是卡尔曼为了预测出物体的一个状态进行跟踪。

deepsort

deepsort 是在sort算法基础上做了很多别的工作。

由于sort算法还是比较粗糙的追踪算法,当物体发生遮挡的时候,特别容易丢失自己的ID。而Deepsort算法在sort算法的基础上增加了级联匹配(MatchingCascade)和新轨迹的确认(confirmed)。Tracks分为确认态(confirmed),和不确认态(unconfirmed),新产生的Tracks是不确认态的:不确认态的Tracks必须要和Detections连续匹配一定的次数(默认是3)才可以转化成确认态。确认态的Tracks必须和Detectionsi连续失配一定次数(默认30次),才会被删除。

那么他的算法流程大概是这样的:
(知乎大佬的图)

项目结构

我们今天这里的话,还是先简单的去做一个介绍,之后的话咱们到像以前yolo一样如何训练自己的模型,然后完成自己的一个需求。

我们重点先看到这个deep_sort

这里我先对这些参数进行一个说明。

(1)里面有特征提取权重的目录路径;

(2)最大余弦距离,用于级联匹配,如果大于该阈值,则忽略。

(3)检测结果置信度阈值

(4)非极大抑制阈值,设置为1代表不进行抑制

(5)最大IOU阈值

(6)最大寿命,也就是经过MAX_AGE帧没有追踪到该物体,就将该轨迹变为删除态。

(7)最高击中次数,如果击中该次数,就由不确定态转为确定态。

(8)最大保存特征帧数,如果超过该帧数,将进行滚动保存。

那么之后的话我们打开deepsort文件夹,可以看到这些玩意:


里面还是有sort算法的。

ckpt.t7:这是一个特征提取网络的权重文件,特征提取网络训练好了以后会生成这个权重文件,方便在目标追踪的时候提取目标框中的特征,在目标追踪的时候避免ID交换。

evaluate.py:计算特征提取模型精确度。

feature_extractor.py:提取对应boundingbox中的特征, 得到一个固定维度的特征,作为该bounding box的代表,供计算相似度时使用。

model.py:特征提取网络模型,该模型用来提取训练特征提取网络权重。 train.py:训练特征提取网络的python文件

test.py:测试训练好的特征提取网络的性能

那么此外sort算法对应的是这个玩意

detection.py:保存通过目标检测的一个检测框框,以及该框的置信度和获取的特征;同时还提供了框框的各种格式的转化方法。

iou_matching.py:计算两个框框之间的IOU。

kalman_filter.py:卡尔曼滤波器的相关代码,主要是利用卡尔曼滤波来预测检测框的轨迹信息。

linear_assignment.py:利用匈牙利算法匹配预测的轨迹框和检测框最佳匹配效果。

nn_matching.py:通过计算欧氏距离、余弦距离等距离来计算最近领距离。

preprocessing.py:非极大抑制代码,利用非极大抑制算法将最优的检测框输出。

track.py:主要储存的是轨迹信息,其中包括轨迹框的位置和速度信息,轨迹框的ID和状态,其中状态包括三种,一种是确定态、不确定态、删除态三种状态。

tracker.py:保存了所有的轨迹信息,负责初始化第一帧,卡尔曼滤波的预测和更新,负责级联匹配,IOU匹配。

那么回到我们的根目录:

deep_sort/deep_sort/deep_sort.py:deepsort的整体封装,实现一个deepsort追踪的一个整体效果。

deep_sort/utils:这里最主要有一些各种各样的工具python代码,例如画框工具,日志保存工具等等。

fuck.py:针对读取的视频进行目标追踪

objdetector.py:封装的一个目标检测器,对视频中的物体进行检测

objtracker.py:封装了一个目标追踪器,对检测的物体进行追踪

最后来看看效果演示

用c++部署yolov5+deepsort+tensorrt实现目标跟踪(代码片段)

...掘金创作之路。​一、参考资料Jetson系列——基于yolov5和deepsort的多目标头部识别,跟踪,使用tensorrt和c++加速二、相关介绍2.1重要说明==该项目能部署在Jetson系列的产品,也能部署在X86服务器中。==2.2项目结构.├──assets│└─... 查看详情

视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)

...、核心功能设计二、核心实现步骤1.yolov5实现目标检测2.deepsort实现目标跟踪3.slowfast动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目,翻阅了大量资料,也借... 查看详情

视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)

...、核心功能设计二、核心实现步骤1.yolov5实现目标检测2.deepsort实现目标跟踪3.slowfast动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目,翻阅了大量资料,也借... 查看详情

基于yolov5的目标追踪(非yolov5+deepsort版)(代码片段)

...3源码地址1效果演示基于yolov5的目标跟踪(非yolov5+deepsort版)注:目标跟踪,全网都用的是。仅用 可以实现吗?可以。该视频效果实现的是手动暂停正在播放的视频,在画面中对待跟踪目标进行矩形框... 查看详情

多目标跟踪c++实现支持deepsort和bytetrack(代码片段)

多目标跟踪C++实现支持deepsort和bytetrackflyfish文章目录多目标跟踪C++实现支持deepsort和bytetrack前言deepsortv1.21使用方法deepsortv1.1版本更新说明依赖的库文件下载使用方法1onnxruntime2模型配置3主函数扩展方式前言代码采用C&#... 查看详情

yoloyolov5+deepsort实现mot评估(开源数据集+自定义数据集)(代码片段)

引言YOLOv5+DeepSort实现目标跟踪,并利用MOTChallengeEvalKit实现多目标跟踪结果的评估。YOLOv5+DeepSort实现目标跟踪可以参考笔者的【YOLOv5】yolov5目标识别+DeepSort目标追踪实现步骤1安装MATLAB安装MATLABMATLAB是一款商业数学软... 查看详情

多目标跟踪算法|deepsort(代码片段)

前言本文分享多目标跟踪算法的经典算法DeepSort,它是一个两阶段的算法,达到实时跟踪效果,曾被应用于工业开发。DeepSort是基于Sort目标跟踪进行的改进,它引入深度学习模型,在实时目标跟踪过程中,... 查看详情

多目标跟踪(mot)--deepsort原理及代码详解(代码片段)

代码来源论文链接DeepSort1.MOT(Multi-ObjectTracking)简介2.DeepSort前身:Sort(SimpleOnlineAndRealtimeTracking)3.DeepSort总体框架(流程)3.1框架概要3.2流程分析4.DeepSort各模块讲解4.1目标检测模块4.1.1目标检测模型概述4.1.2Detection类解析4.2轨迹跟踪... 查看详情

深度学习和目标检测系列教程21-300:deepsorts测试小车经过的时间和速度(代码片段)

@Author:RunsendeepDeepSortDeepSort是一种用于跟踪目标的模型,为每个目标分配ID,为每一个不同的类别分配label。在DeepSort中,过程如下。使用YOLO计算边界框(检测)使用Sort(卡尔曼滤波器)和ReID... 查看详情

deepsort

...更稳定)策略,即基于目标检测的结果来进行目标跟踪。DeepSORT运用的就是这个策略,上面的视频是DeepSORT对人群进行跟踪的结果,每个bbox左上角的数字是用来标识某个人的唯一ID号。这里就有个问题,视频中不同时刻的同一个人... 查看详情

目标检测与跟踪(行人双向计数)

目标检测与跟踪(行人双向计数)本项目基于yolov5检测,基于deepsort追踪,采用撞线计数,再根据前后帧人的坐标位置判断行走方向,检测展示效果:(图片来源均来自我室友)欢迎评论留言。 查看详情

简单易上手yolov5-deepsort(windows)(代码片段)

YOLOV5模型训练以及deepsort目标追踪的简单上手操作,并总结了常见问题目录文章目录一、YOLOV5模型训练1.下载源码文件2.环境设置3.准备工作4.开始运行 二、YOLOV5-deepsort的目标识别 1.修改配置 三、常见问题与解决 四、如何... 查看详情

ubuntu部署deepsort目标跟踪算法,无人车/无人机应用(代码片段)

🍉1、算法简介DeepSort是对SimpleOnlineandRealtimeTracking(Sort)的扩展,它通过预先训练的深度关联度量来整合外观信息。使用视觉外观空间中的最近邻查询来建立测量到跟踪的关联,能够通过更长时间的遮挡来跟... 查看详情

跟踪算法-deepsort详细简介(代码片段)

目录跟踪的基本思想跟踪框与检测框卡尔曼滤波算法---预测匈牙利算法----匹配对于目标跟踪,前提是能够对单张图片中的车辆进行检测,从而知道图片中车辆的位置,根据连续的图像中目标位置的轨迹预测,从而... 查看详情

基于yolov5的多应用实现《obj-detection》正式开源

...yolov5+flask+社交距离网页端实现camera.py:基于yolov5+deepsort(目标跟踪)+FlaskVideoStreaming实现浏览器打开摄像头进行目标跟踪app.py:flask启动文件二、安装与使用1、部署环境pipinstall-rrequirements.txt2、运行(无flask... 查看详情

基于yolov5的多应用实现《obj-detection》正式开源

...yolov5+flask+社交距离网页端实现camera.py:基于yolov5+deepsort(目标跟踪)+FlaskVideoStreaming实现浏览器打开摄像头进行目标跟踪app.py:flask启动文件二、安装与使用1、部署环境pipinstall-rrequirements.txt2、运行(无flask... 查看详情

deepsort目标跟踪算法(代码片段)

DeepSort目标跟踪算法是在Sort算法基础上改进的。首先介绍一下Sort算法Sort算法的核心便是卡尔曼滤波与匈牙利匹配算法卡尔曼滤波是一种通过运动特征来预测目标运动轨迹的算法其核心为五个公式,包含两个过程:其分为... 查看详情

目标检测yolov5简单实战

最近在学习计算机视觉目标检测的相关内容,主要学习了yolov57.0版本博主也是初学者,最近刚学完李沐的动深和yolo部分内容,写的错误的地方还请指出本文只会简单概述yolov5相关的原理,需要详细了解可以看如下... 查看详情