关键词：
引言
YOLOv5+Deep Sort 实现目标跟踪，并利用MOTChallengeEvalKit实现多目标跟踪结果的评估。
YOLOv5+Deep Sort 实现目标跟踪可以参考笔者的【YOLOv5】yolov5目标识别+DeepSort目标追踪
实现步骤
1 安装MATLAB
安装MATLAB
MATLAB是一款商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分，可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。
直接附上安装的参考链接：https://mp.weixin.qq.com/s/LAatgqNf55zpxzOYlpn8fg
2 必要的开源
- MOT评估工具：dendorferpatrick-MOTChallengeEvalKit
- 开源的评估数据库：例如MOT 17，其他链接如下
- Deep Sort目标跟踪：mikel-brostrom-Yolov5_DeepSort_Pytorch
- YOLOv5目标识别：ultralytics-yolov5
下载上述开源压缩包，进行解压，文件的部署如下：
-----------------------------------------------------------------------------------------------------------
# 1.准备数据集（树形框架）
|-MOTChallengeEvalKit(评估工具源码)# 源码1
|-MOT # 多目标评估
|-matlab_devkit
|-evalMOT.py # 评估主代码1
|-Evaluator.py # 评估主代码2
|-Metrics.py
|-MOT_metrics.py
|-MOTVisualization.py
|-Visualize.py
|-Yolov5_DeepSort_Pytorch（目标跟踪） # 源码2
|-deep_sort # 跟踪源码
|-yolov5 # 源码3：该文件夹是空的，需要把YOLOv5的源码项目放进去
|-Evaluation-MOTdata（开源数据库） # 笔者自定义的名称(用于存放开源数据库)
|-MOT16 # 开源数据集
|-MOT17
|-MOT20
-----------------------------------------------------------------------------------------------------------
3 环境部署
首先利用Anaconda创建新的环境，以优先满足YOLOv5的环境部署，特别是python的版本不能低于YOLOv5要求的下限。
conda create -n yolov5-6 python=3.7
conda activate yolov5-6 # 激活环境
3.1 MATLAB编译
笔者MATLAB的版本是：MATLAB R2021a
终端进入MATLAB的安装路径：D:\\Program Files\\Polyspace\\R2021a\\extern\\engines\\python 自定义的安装路径
cd D:\\Program Files\\Polyspace\\R2021a\\extern\\engines\\python
# 执行如下指令
python setup.py build --build-base="builddir" install
python setup.py install --prefix="installdir"
python setup.py build --build-base="builddir" install --prefix="installdir"
python setup.py install --user
执行完上述指令之后，MATLAB的安装路径下新增文件如下：
打开MATLAB完成编译
打开评估工具源码项目文件，并将如下文件复制到MOT文件夹下面，这一步的复制操作十分重要，否则即使编译成功，评估也会失败。
复制后MOT文件夹下的文件如下：
根据截图完成编译
若没有复制上述文件，则评估是会有如下的错误：
3.2 DeepSort +YOLOv5环境搭建
优先满足YOLOv5的环境部署，DeepSort没有特殊的要求，在运行时缺啥补啥
参考链接【YOLOv5】6.0环境搭建（不定时更新）
4 评估测试
测试上述所搭建的环境是否能在开源的MOT17实现评估
4.1 下载现成的跟踪结果
现成的跟踪结果笔者的参考链接：（python版 MOTChallengeEvalKit 评估工具运行,运行MOT评估工具）
链接：https://pan.baidu.com/s/1CkPse7rcx53qOEy8YlU6qw
提取码：rlwj
将下载的文件放入开源数据集中：
4.2 运行评估
（1）打开评估代码MOTChallengeEvalKit-master\\MOT\\evalMOT.py
修改配置如下：
if __name__ == "__main__":
eval = MOT_evaluator()
benchmark_name = "MOT17"
gt_dir = r"E:\\Alian\\yolov5\\MOTChallengeEvalKit-master\\MOT17" # GT
res_dir = r"E:\\Alian\\yolov5\\MOTChallengeEvalKit-master\\MOT17\\results\\test_track_MOT17_fuc_v0" # 跟踪结果
eval_mode = "train" # MOT17下的train模式，因为只有train才有GT
seqmaps_dir = r'E:\\Alian\\yolov5\\MOTChallengeEvalKit-master\\seqmaps'
eval.run(
benchmark_name = benchmark_name,
gt_dir = gt_dir,
res_dir = res_dir,
eval_mode = eval_mode,
seqmaps_dir=seqmaps_dir
)
（2）打开MOTChallengeEvalKit-master\\seqmaps\\MOT17-train.txt
只保留下述的内容，多余的删除（因为只有下述文件的跟踪结果），检查基准、跟踪结果是否一一对应
评估基准
跟踪结果
终端执行命令，打印结果如下
python evalMOT.py
5 在自定义的数据下实现跟踪评估
5.1 修改评估代码
./MOT/evalMOT.py 修改如下
"""
2022.3.12
author:alian
实现跟踪结果的评估
"""
import sys, os
sys.path.append(os.path.abspath(os.getcwd()))
import math
from collections import defaultdict
from MOT_metrics import MOTMetrics
from Evaluator import Evaluator, run_metrics,My_Evaluator
import multiprocessing as mp
import pandas as pd
# 2、自定义数据集评估
class My_MOTevaluator(My_Evaluator): # 继承父类
def __init__(self):
super().__init__()
pass
def my_eval(self): # 重写评估函数
arguments = [] # 传入参数: 项目名称，跟踪结果文件列表，基准文件列表
for seq, res, gt in zip(self.sequences, self.tsfiles, self.gtfiles): # 评估路段的名称，跟踪结果文件，基准文件
arguments.append("metricObject": MOTMetrics(seq), "args":
"gtDataDir": os.path.join(os.path.dirname(gt),seq),
"sequence": str(seq),
"pred_file":res,
"gt_file": gt,
"benchmark_name": self.benchmark_name)
try:
if self.MULTIPROCESSING:
p = mp.Pool(self.NR_CORES) # 实例化多进程并行池
print("Evaluating on cpu cores".format(self.NR_CORES))
# 计算每个序列的指标
processes = [p.apply_async(run_metrics, kwds=inp) for inp in arguments] # 得到多进程处理结果
self.results = [p.get() for p in processes] # 评估结果
p.close()
p.join()
else:
self.results = [run_metrics(**inp) for inp in arguments]
self.failed = False # 成功
except:
self.failed = True
raise Exception("<exc> MATLAB evalutation failed <!exc>")
self.Overall_Results = MOTMetrics("OVERALL") # 定义评估指标矩阵的名称
return self.results,self.Overall_Results
./MOT/Evaluator.py
"""
2022.3.12
author:alian
"""
import sys, os
sys.path.append(os.getcwd())
import argparse
import traceback
import time
import pickle
import pandas as pd
import glob
from os import path
import numpy as np
class My_Evaluator(object): # 多目标跟踪评估器类
""" 评估器类运行每个序列的评估并计算基准的整体性能"""
def __init__(self):
pass
def run(self, benchmark_name=None, gt_dir=None, mot_dir=None,save_csv = None):
self.benchmark_name = benchmark_name # 项目名称
start_time = time.time()
self.gtfiles = glob.glob('%s/*_gt.txt'%gt_dir) # 基准文件gt.txt全路径
self.tsfiles = glob.glob('%s/*_mot.txt'%mot_dir) # 评估结果全路径
self.sequences = [os.path.split(x)[-1].split('_')[0] for x in self.gtfiles]
print('Found ground truth files and test files.'.format(len(self.gtfiles), len(self.tsfiles)))
# 设置多核处理
self.MULTIPROCESSING = True # 多处理
MAX_NR_CORES = 10 # 最大的处理量
if self.MULTIPROCESSING: self.NR_CORES = np.minimum(MAX_NR_CORES, len(self.tsfiles))
try:
""" 执行评估 """
self.results,self.Overall_Results = self.my_eval()
# 计算整体结果
results_attributes = self.Overall_Results.metrics.keys() # 评估指标（名称）
for attr in results_attributes:
""" 在所有序列上累积评估值 """
try:
self.Overall_Results.__dict__[attr] = sum(obj.__dict__[attr] for obj in self.results)
except:
pass
cache_attributes = self.Overall_Results.cache_dict.keys() # 缓存属性
for attr in cache_attributes:
""" accumulate cache values over all sequences """
try:
self.Overall_Results.__dict__[attr] = self.Overall_Results.cache_dict[attr]['func']([obj.__dict__[attr] for obj in self.results])
except:
pass
print("evaluation successful")
# 计算clearmot指标
for res in self.results:
res.compute_clearmot()
self.Overall_Results.compute_clearmot()
summary = self.accumulate_df(type="mail")
# 将评估果写入csv文件
summary.to_csv(save_csv)
except:pass
end_time=time.time()
self.duration = (end_time - start_time)/60.
# 收集评估错误
print("Evaluation Finished")
print("Your Results")
print(self.render_summary())
print("Successfully save results")
return self.Overall_Results, self.results
def my_eval(self): # 实际使用时重写
raise NotImplementedError
def accumulate_df(self, type = None):
""" create accumulated dataframe with all sequences """
summary = None
for k, res in enumerate(self.results):
res.to_dataframe(display_name = True, type=type)
if k == 0: summary = res.df
else:summary = pd.concat([summary,res.df])
summary = summary.sort_index()
self.Overall_Results.to_dataframe(display_name=True, type=type)
self.summary = pd.concat([summary,self.Overall_Results.df])
return self.summary
def render_summary( self, buf = None): # 终端打印评估指标
"""
Params:
summary : pd.DataFrame
Kwargs：
buf : StringIO-like, optional 写入缓存区
formatters : dict, optional(为单个指标定义自定义格式化程序的字典)'mota': ':.2%'.format.MetricsHost.formatters
namemap : dict, optional 'num_false_positives': 'FP'
Returns：
string
"""
output = self.summary.to_string(
buf=buf,
formatters=self.Overall_Results.formatters,
justify="left"
)
return output
def run_metrics( metricObject, args ):
""" Runs metric for individual sequences
Params:
-----
metricObject: metricObject that has computer_compute_metrics_per_sequence function
args: dictionary with args for evaluation function
"""
metricObject.compute_metrics_per_sequence(**args) # 计算每个序列的指标
return metricObject
if __name__ == "__main__":
Evaluator()
5.2 基准和评估结果准备
（1）基准文件：name_gt.txt
从左到右分别是：
1. frame: 第几帧图片
2. ID:也就是轨迹的ID，可以看出gt里边是按照轨迹的ID号进行排序的
3. bbox: 分别是左上角坐标和长宽
4. bbox: 分别是左上角坐标和长宽
5. bbox: 分别是左上角坐标和长宽
6. bbox: 分别是左上角坐标和长宽
7. bool类型：代表是否忽略：0代表忽略，1代表该目标被选
8. classes:目标的类别个数（开源的MOT数据集中：驾驶场景包括12个类别，7代表的是静止的人， 第8个类代表错检，9-11代表被遮挡的类别，如下图），自定数据集就根据自己的目标类别数
9. 最后一个代表目标运动时被其他目标包含、覆盖、边缘裁剪的情况，这里笔者将目标的置信度写入该列的值
（2）跟踪结果：name_mot.txt
从左到右分别是：
1. frame: 第几帧图片
2. ID:也就是轨迹的ID，可以看出gt里边是按照轨迹的ID号进行排序的
3. bbox: 分别是左上角坐标和长宽
4. bbox: 分别是左上角坐标和长宽
5. bbox: 分别是左上角坐标和长宽
6. bbox: 分别是左上角坐标和长宽
7. conf：目标置信度
8. MOT3D(x,y,z): 是在MOT3D（三维跟踪）中使用到的内容，这里关心的是MOT二维，所以都设置为-1
5.3 实现自定义数据集的MOT评估
打开./MOT/evalMOT.py 修改配置如下
if __name__ == "__main__":
# 自定义数据集评估
my_eval = My_MOTevaluator()
benchmark_name = "MOT北京地铁9号线"
gt_dir = r"E:\\Alian\\yolov5\\Yolov5_DeepSort_alian\\results" # GT
res_dir = r"E:\\Alian\\yolov5\\Yolov5_DeepSort_alian\\results" # 跟踪结果
my_eval.run(
benchmark_name=benchmark_name,
gt_dir=gt_dir,
mot_dir=res_dir,
save_csv='MOT北京地铁9号线.csv'
)
6 完整代码汇总
6.1 evalMOT.py
"""
2022.3.12
author:alian
实现跟踪结果的评估
"""
import sys, os
sys.path.append(os.path.abspath(os.getcwd()))
import math
from collections import defaultdict
from MOT_metrics import MOTMetrics
from Evaluator import Evaluator, run_metrics,My_Evaluator
import multiprocessing as mp
import pandas as pd
# 1、开源跟踪评估
class MOT_evaluator(Evaluator): # 继承父类
def __init__(self):
super().__init__()
self.type = "MOT"
def eval(self): # 重写评估函数
print("Check prediction files") # 检查评估文件
error_message = ""
for pred_file in self.tsfiles: # 遍历跟踪结果
print(pred_file)
df = pd.read_csv(pred_file, header=None, sep=",") # 默认用逗号隔开
if len(df.columns) == 1: # 若只有一列
f = open(pred_file, "r")
error_message+= "<exc>Submission %s not in correct form. Values in file must be comma separated.<br>Current form:<br>%s<br>%s<br>.........<br><!exc>" % (pred_file.split("/")[-1], f.readline(), f.readline())
raise Exception(error_message)
df.groupby([0,1]).size().head() # 根据帧序，ID对数据进行分组(取前5行)
count = df.groupby([0,1]).size().reset_index(name='count') # 将分组索引（帧序，ID）设置为列，则此时的列有：帧序，ID，计数
# 检查ID的独一性
if any(count["count"]>1):
doubleIDs = count.loc[count["count"]>1][[0,1]].values
error_message查看详情
sort+deepsort
SORT+DeepSORT1.简介1.1评价指标1.2SORT功能1.3DeepSORT功能1.4实现方案2.卡尔曼滤波（KalmanFilter:运动预测）3.匈牙利算法（HungarianAlgorithm:数据关联）3.1分配问题（AssignmentProblem）3.2匈牙利算法（又 查看详情
用c++部署yolov5+deepsort+tensorrt实现目标跟踪(代码片段)
...掘金创作之路。一、参考资料Jetson系列——基于yolov5和deepsort的多目标头部识别，跟踪，使用tensorrt和c++加速二、相关介绍2.1重要说明==该项目能部署在Jetson系列的产品，也能部署在X86服务器中。==2.2项目结构.├──assets│└─... 查看详情
视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)
...、核心功能设计二、核心实现步骤1.yolov5实现目标检测2.deepsort实现目标跟踪3.slowfast动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目，翻阅了大量资料，也借... 查看详情
视频实时行为检测——基于yolov5+deepsort+slowfast算法(代码片段)
...、核心功能设计二、核心实现步骤1.yolov5实现目标检测2.deepsort实现目标跟踪3.slowfast动作识别三、核心代码解析1.参数2.主函数3.将结果保存成视频总结前言前段时间打算做一个目标行为检测的项目，翻阅了大量资料，也借... 查看详情
deepsort+yolo实现行人检测和轨迹追踪(代码片段)
作者|李秋键出品|AI科技大本营(ID:rgznai100)引言行人检测是近年来计算机视觉领域的研究热点，同时也是目标检测领域中的难点。其目的是识别和定位图像中存在的行人，在许多领域中都有广泛的应用。交通安全方面，... 查看详情
深入浅出——零基础一文读懂deepsort(原理篇)(代码片段)
Intro本文是笔者对DeepSORT算法学习的阶段性总结，基于笔者接触到的所有开源学习资料，辅以个人理解进行重新编排而成，力求清晰，使非专业的读者也能迅速对该算法原理有较为透彻的理解，便于后续代码学... 查看详情
基于yolov5的目标追踪（非yolov5+deepsort版）(代码片段)
...3源码地址1效果演示基于yolov5的目标跟踪（非yolov5+deepsort版）注：目标跟踪，全网都用的是。仅用 可以实现吗？可以。该视频效果实现的是手动暂停正在播放的视频，在画面中对待跟踪目标进行矩形框... 查看详情
跟踪算法-deepsort详细简介(代码片段)
目录跟踪的基本思想跟踪框与检测框卡尔曼滤波算法---预测匈牙利算法----匹配对于目标跟踪，前提是能够对单张图片中的车辆进行检测，从而知道图片中车辆的位置，根据连续的图像中目标位置的轨迹预测，从而... 查看详情
深度学习和目标检测系列教程21-300：deepsorts测试小车经过的时间和速度(代码片段)
@Author：RunsendeepDeepSortDeepSort是一种用于跟踪目标的模型，为每个目标分配ID，为每一个不同的类别分配label。在DeepSort中，过程如下。使用YOLO计算边界框（检测）使用Sort（卡尔曼滤波器）和ReID... 查看详情
课程设计任务分工说明自评意见自评等级指导教师意见--基于java的进销存管理系统课程设计
...7个模块。我负责库存管理模块和查询统计模块的设计与实现，库存管理主要实现了商品入库和出库盘点及商品价格调整，查询统计实现了客户查询、商品查询、供应商查询、销售查询、销售退货查询、入库查询、入库退... 查看详情
sql如何做除法
上图是我用代码1实现的效果。我想在代码1的基础上实现下图，即先统计每个orgin-destination每个MOT的SH个数占该orgin-destination所有SH个数的百分比，然后筛选出该百分比小于等于0.01的。代码1：SELECTORIGIN+'-'+DESTINATIONas[origin-desti... 查看详情
多目标跟踪算法|deepsort(代码片段)
前言本文分享多目标跟踪算法的经典算法DeepSort，它是一个两阶段的算法，达到实时跟踪效果，曾被应用于工业开发。DeepSort是基于Sort目标跟踪进行的改进，它引入深度学习模型，在实时目标跟踪过程中，... 查看详情
面试官：redis如何实现每周热评功能？说说思路！(代码片段)
思路分析做每周热议，应该用缓存来做，如果直接查库的话，会对数据库造成压力。用缓存做的话，用Redis来做缓存的话比较合适一点。#利用Redsi添加数据命令#day:1指的是在1号的时候post:1第一篇文章添加了10条评... 查看详情
in-memory：内存数据库
...数据库，使用内存优化表（Memory-OptimizedTable，简称MOT）来实现，MOT驻留在内存中，使用Hekaton内存数据库引擎访问。在查询MOT时，只从内存中读取数据行，不会产生DiskIO消耗；在更新MOT时，数据的更新直接写入到内存中。内存优... 查看详情
目标跟踪实战deepsort+yolov5（上）
文章目录前言算法简介sort算法deepsort项目结构前言今天的主要目的还是快速上手目标跟踪，先前的话我是简单说了一下卡尔曼滤波，然后由于博客的问题，没有说完。本来是想做一个系列的，但是很难整理，... 查看详情
扫什么，评什么(代码片段)
...，但是作为一个程序员，总是想去研究一下他到底是怎么实现的，打开源代码一看便知道怎么来实现这么一个“游戏”。接下来，简单的分析一下，有过网站基础的朋友一看就知道怎么来实现的，并没有什么技术含量。界面代码... 查看详情
ubuntu部署deepsort目标跟踪算法，无人车/无人机应用(代码片段)
🍉1、算法简介DeepSort是对SimpleOnlineandRealtimeTracking（Sort）的扩展，它通过预先训练的深度关联度量来整合外观信息。使用视觉外观空间中的最近邻查询来建立测量到跟踪的关联，能够通过更长时间的遮挡来跟... 查看详情