超强实时跟踪系统首次开源支持跨镜头多类别小目标跟踪

百度大脑 百度大脑     2023-02-26     799

关键词:

在琳琅满目的视觉应用中,对车辆、行人、飞行器等快速移动的物体进行实时跟踪及分析,可以说是突破安防、自动驾驶、智慧城市等炙手可热行业的利器。

但要实现又快又准的持续跟踪,往往面临被检目标多、相互遮挡、图像扭曲变形、背景杂乱、视角差异大、目标小且运动速度快等产业难题。


▲ 视频引用公开数据集[1][2][3][4]

那如何快速获得这个能力呢?今天给大家介绍的不仅仅是单独的智能视觉算法,而是一整套多功能多场景的跟踪系统——PP-Tracking。‍

它融合了目标检测、行人重识别、轨迹融合等核心能力,并针对性地优化和解决上述实际业务的痛点难点,提供行人车辆跟踪、跨镜头跟踪、多类别跟踪、小目标跟踪及流量计数等能力与产业应用,还支持可视化界面开发,让你快速上手、迅速落地。

⭐ 项目链接 ⭐
https://github.com/PaddlePaddle/paddledetection

想了解这套超强目标跟踪系统的详细结构、优势亮点及使用方法?下面带大家来快速领略下。

 功能丰富效果佳 

PP-Tracking 内置 DeepSORT[6]、JDE[7]与 FairMOT[8]三种主流高精度多目标跟踪模型,并针对产业痛点、结合实际落地场景进行一系列拓展和优化,覆盖多类别跟踪、跨镜跟踪、流量统计等功能与应用,可谓是精度、性能、功能丰富样样俱全。

>> 单镜头跟踪

单镜头下的单类别目标跟踪是指在单个镜头下,对于同一种类别的多个目标进行连续跟踪,是跟踪任务的基础。针对该任务,PP-Tracking 基于端到端的 One Shot 高精模型 FairMOT[8],替换为更轻量的骨干网络 HRNetV2-W18,采用多种 Tricks,如 Sync_BN与EMA,保持性能的同时大幅提高了精度,并且扩大训练数据集,减小输入尺寸,最终实现服务端轻量化模型在权威数据集 MOT17上精度达到 MOTA 65.3,在 NVIDIA Jetson NX 上速度达到23.3FPS,GPU 上速度可达到60FPS!同时,针对对精度要求较高的场景,PP-Tracking 还提供了精度高达 MOTA75.3的高精版跟踪模型。


▲ 视频引用公开数据集[3]

>> 多类别跟踪

PP-Tracking 不仅高性能地实现了单镜头下的单类别目标跟踪,更针对多种不同类别的目标跟踪场景,增强了特征匹配模块以适配不同类别的跟踪任务,实现跟踪类别覆盖人、自行车、小轿车、卡车、公交、三轮车等上十种目标,精准实现多种不同种类物体的同时跟踪。

▲ 视频引用公开数据集[2]

>> 跨镜头跟踪

安防场景常常会涉及在多个镜头下对于目标物体的持续跟踪。当目标从一个镜头切换到另一个镜头,往往会出现目标跟丢的情况,这时,一个效果好速度快的跨镜头跟踪算法就必不可少了!PP-Tracking 中提供的跨镜头跟踪能力基于 DeepSORT[6]算法,采用了百度自研的轻量级模型 PP-PicoDet 和 PP-LCNet 分别作为检测模型和 ReID 模型,配合轨迹融合算法,保持高性能的同时也兼顾了高准确度,实现在多个镜头下紧跟目标,无论镜头如何切换、场景如何变换,也能准确跟踪目标的效果。


▲ 视频引用公开数据集[2]

>> 流量监测

与此同时,针对智慧城市中的高频场景—人/车流量监测,PP-Tracking 也提供了完整的解决方案,应用服务器端轻量级版 FairMOT[8]模型预测得到目标轨迹与 ID 信息,实现动态人流/车流的实时去重计数,并支持自定义流量统计时间间隔。

为了满足不同业务场景下的需求,如商场进出口人流监测、高速路口车流量监测等,PP-Tracking 更是提供了出入口两侧流量统计方式。


▲ 视频引用公开数据集[2]

 复杂场景覆盖全 

>> 行人、车辆跟踪

智慧交通中,行人和车辆的场景尤为广泛,因此 PP-Tracking 针对行人和车辆,提供对应的预训练模型,大幅降低开发成本,节省训练时间和数据成本,实现业务场景直接推理,算法即应用的效果!不仅如此,PP-Tracking 支持显示目标轨迹,更直观地辅助实现高效的路径规划分析。

▲ 视频引用公开数据集[2]

>> 人头跟踪

不仅如此,除了在日常跟踪任务中拥有极强的通用性,针对实际业务中常常出现目标遮挡严重等问题,PP-Tracking也进行了一系列优化,提供了基于 FairMOT[8]训练的人头跟踪模型,并在 Head Tracking 2021数据集榜单位居榜首,助力 PP-Tracking 灵活适配各类行人场景。

▲ 视频引用公开数据集[5]

>> 小目标跟踪

针对小目标出现在大尺幅图像中的产业常见难题场景,PP-Tracking 进行了一系列的优化,提供专门针对小目标跟踪的预训练模型,实现在特殊场景,如无人机等航拍场景下,也能达到较为精准的效果。

▲ 视频引用公开数据集[2]

 两种使用模式 训练推理灵活掌握 

为了满足不同的开发需求,PP-Tracking 支持两种使用方式,无论是想通过代码调用/训练模型,进行快速推理部署,还是想要零代码直接上手使用功能,PP-Tracking 通通满足你!

>> API 代码调用:

API 简洁易用,支持模型调用、训练与推理部署,最大程度降低开发成本的前提下,灵活适配各类场景与任务。

>> 可视化开发界面:

囊括所有功能与应用,无需任何开发,即可实现全部任务功能,便于集成于各类硬件。

更贴心的是,PP-Tracking 支持 Python、C++两种部署语言,同时提供使用飞桨原生推理库 Paddle Inference 和飞桨服务化推理框架 Paddle Serving 的保姆级部署教程,真正意义上打通从训练、推理到部署的全流程。

 产业场景快速融合 

这么厉害的实时跟踪系统在实际落地中的表现如何呢?接下来,让我们看看 PP-Tracking 的实际业务落地效果吧。

以人流量计数为例,在上海音智达公司的实际业务中,使用 PP-Tracking 中的服务端轻量化版 FairMOT[8],结合人流量计数功能,快速实现商圈出入口的实时人流量去重计数。


▲ 视频引用公开数据集[3]

百度AI开发者社区百度AI开发者社区 ,为全国各地开发者提供一个交流、分享、答疑解惑的平台,让开发者在研发路上不再“孤军奋战”,通过不断地交流与探讨找出更好的技术解决方案。如果你想尝试各种人工智能技术、开拓应用场景,赶快加入百度AI社区,你对 AI 的所有畅想,在这里都可以实现!

​【投稿赢大奖】——奇思妙想+AI技术=?
🌟奇思妙想与AI技术碰撞会产生什么样的火花?
🌟独特、新颖的思路会与AI技术会产生什么样的化学反应?
🌟参与活动有机会赢大奖,更有机会成为AI开发者联盟成员!
一起来解锁开发者联盟更多福利吧
大奖在这里👇👇👇👇👇👇
参加活动电竞级耳机、京东卡、爱奇艺年卡、百度定制大礼等你来拿!
立即参与:【投稿赢大奖】 -- 奇思妙想+AI技术=?

卧槽!出了一个python实时目标跟踪系统神器!

...安防等领域对车辆、行人、飞行器等快速移动的物体进行实时跟踪及分析的需求可谓比比皆是,但单纯的目标检测算法只能输出目标的定位+分类,无法对移动的目标具体的运动行为及特征进行分析,因此在具体的... 查看详情

ai最前线精准优质-资讯|分享|热议第43期

....baidu.com/forum/topic/show/992172?&hmsr=AI&hmpl=W2.利器|超强实时跟踪系统首次开源!支持跨镜头、多类别、小目标跟踪!https://ai.baidu.com/support/news?action=detail&id=2671&hmsr=AI&hmpl=W3.提升|MIT新研究&#... 查看详情

ai最前线精准优质-资讯|分享|热议第43期

....baidu.com/forum/topic/show/992172?&hmsr=AI&hmpl=W2.利器|超强实时跟踪系统首次开源!支持跨镜头、多类别、小目标跟踪!https://ai.baidu.com/support/news?action=detail&id=2671&hmsr=AI&hmpl=W3.提升|MIT新研究&#... 查看详情

用yolov4打造无人机实时目标跟踪系统(代码已开源)

点击查看:用YOLOv4打造无人机实时目标跟踪系统(代码已开源)基于最先进的YOLOv4-Tiny,所设计的系统能够跟踪模型分类对象。特别是,离散卡尔曼滤波器也被用于解决遮挡或未检测问题。 查看详情

实时车辆行人多目标检测与跟踪系统-上篇(ui界面清新版,python代码)

...用深度学习中的YOLO及SORT算法实现车辆、行人等多目标的实时检测和跟踪,并利用PyQt5设计了清新简约的系统UI界面,在界面中既可选择自己的视频、图片文件进行检测跟踪,也可以通过电脑自带的摄像头进行实时处理,可选择训... 查看详情

用yolov5+deepsort,打造实时多目标跟踪模型

作者:神经三羊来源:HyperAI超神经内容概要目标跟踪作为一个非常有前景的研究方向,常常因为场景复杂导致目标跟丢的情况发生。本文按照跟踪目标数量的差异,分别介绍了单目标跟踪及多目标跟踪。关键词&#x... 查看详情

bytetrack实时多目标跟踪(代码片段)

去年的1024我写了一篇FairMOT实时多目标跟踪,兜兜转转,一年过去了,最近FairMOT原作者发布了更快更强的ByteTrack,也就有了这篇文章,有种恍如隔世之感。简介ByteTrack是近期公开的一个新的多目标跟踪SOTA方法&... 查看详情

多目标跟踪算法|deepsort(代码片段)

...的经典算法DeepSort,它是一个两阶段的算法,达到实时跟踪效果,曾被应用于工业开发。DeepSort是基于Sort目标跟踪进行的改进,它引入深度学习模型,在实时目标跟踪过程中,提取目标的外观特征进行最近... 查看详情

多目标跟踪:cvpr2019论文阅读

多目标跟踪:CVPR2019论文阅读RobustMulti-ModalityMulti-ObjectTracking 论文链接:https://arxiv.org/abs/1909.03850代码链接:https://github.com/ZwwWayne/mmMOT摘要在自主驾驶系统中,多传感器感知是保证系统可靠性和准确性的关键,而多目标跟踪(M... 查看详情

多目标跟踪c++实现支持deepsort和bytetrack(代码片段)

多目标跟踪C++实现支持deepsort和bytetrackflyfish文章目录多目标跟踪C++实现支持deepsort和bytetrack前言deepsortv1.21使用方法deepsortv1.1版本更新说明依赖的库文件下载使用方法1onnxruntime2模型配置3主函数扩展方式前言代码采用C&#... 查看详情

目标跟踪(3)multitracker:基于opencv(c++/python)的多目标跟踪

...我们将介绍如何使用通过MultiTracker类实现的OpenCV的多对象跟踪API。我们将共享C++和Python代码。大多数计算机视觉和机器学习的初学者都学习对象检测。如果您是初学者,您可能会想为什么我们需要对象跟踪。我们不能只检测每一... 查看详情

多目标跟踪算法简述——量测-航机关联

多目标跟踪算法简述——量测-航机关联原创不易,路过的各位大佬请点个赞针对机动目标跟踪的探讨、技术支持欢迎联系,也可以站内私信WX:ZB823618313多目标跟踪算法简述——量测-航机关联多目标跟踪算法简述——量测-... 查看详情

滤波跟踪基于matlab最近邻算法多目标航迹关联含matlab源码2093期(代码片段)

...扑的航迹关联方法,是基于航迹历史信息的航迹关联算法,实时性不高。提出的全局最近邻算法在无系统偏差情况下具有很好的关联效果,但在有系统偏差情况下,该算法会随着系统偏差的 查看详情

滤波跟踪基于matlab最近邻算法多目标航迹关联含matlab源码2093期(代码片段)

...扑的航迹关联方法,是基于航迹历史信息的航迹关联算法,实时性不高。提出的全局最近邻算法在无系统偏差情况下具有很好的关联效果,但在有系统偏差情况下,该算法会随着系统偏差的 查看详情

python进阶——人工智能实时目标跟踪(代码片段)

...bcyllqj/category_12089557.html目录前言项目介绍区域性锁定目标实时动态跟踪(适用警方追捕,无人机锁定拍摄等)首先先介绍几种AI视觉算法详细代码讲解完整代码及注释:结果演示区域性全部实时动态目标跟踪(... 查看详情

论文解读sortdeep-sort多目标跟踪算法

前言基于视觉的目标跟踪在智能监控、动作与行为分析、自动驾驶等领域都有重要的应用。例如,在自动驾驶系统中,目标跟踪算法要对运动的车、行人、其他物体的运动进行跟踪,对它们的未来的位置、速度等信息作出预测。... 查看详情

挑战目标跟踪算法极限,siamrpn系列算法解读

商汤科技智能视频团队首次开源其目标跟踪研究平台PySOT。PySOT包含了商汤科技SiamRPN系列算法,以及刚被CVPR2019收录为Oral的SiamRPN++。此篇文章将解读目标跟踪最强算法SiamRPN系列。背景由于存在遮挡、光照变化、尺度变化等一些列... 查看详情

matlab代码复现:目标跟踪多传感器融合非线性滤波等探讨及技术支持

目标跟踪、多传感器融合、非线性滤波等探讨及技术支持博主主要擅长以下几个方面,探讨、技术支持、代码复现等问题欢迎联系,也可以站内私信weixin:ZB823618313(备注来意)1.估计\\滤波\\融合1各种线性/非线性... 查看详情