带你了解cann的目标检测与识别一站式方案(代码片段)

关键词：

摘要： 了解通用目标检测与识别一站式方案的功能与特性，还有实现流程，以及可定制点。

本文分享自华为云社区《玩转CANN目标检测与识别一站式方案》，作者： Tianyi_Li。

背景介绍

目标检测与识别是计算机视觉领域中的关键技术，随着深度学习技术的发展，目标检测与识别的应用场景也越来越广泛。当前, 主要有以下几个应用场景:

安全领域：指纹识别、物体识别等。

交通领域：车牌号识别、无人驾驶、交通标志识别等。

医疗领域：心电图、B超、健康管理、营养学等。

生活领域：智能家居、智能购物、智能测肤等。

但当前人工智能应用开发面临着开发周期长、AI软件栈理解成本高、算法模型与业务结合难度高、对开发人员技能要求高等门槛。为了降低AI应用开发的门槛，昇腾CANN开源了高性能的通用目标检测与识别一站式方案，通过其强大的可定制、可扩展性，旨在为AI开发者们提供更好的编程选择。

特别提示，如果您具有以下知识储备，将有助于学习：

1. 具有C&C++编程经验。
2. 了解异构计算架构CANN在昇腾AI全栈中的位置和作用。
3. 了解应用编程框架AscendCL的关键特性，并能够基于AscendCL接口开发简单的AI应用。

目标

1. 了解通用目标检测与识别一站式方案的功能与特性
2. 了解ACLlite的背景及接口使用方法
3. 深入了解通用目标检测与识别一站式方案的实现流程
4. 能够基于此方案定制自己的AI应用

目标检测与识别一站式方案介绍

方案特性

点此detect_and_classify，可查看方案源代码。

方案整体特性概括如下：

1.支持多格式输入和输出

通用目标检测和识别一站式方案支持图片、离线视频、RTSP视频流等多输入格式，开发者可基于此方案实现对图片和视频等不同格式的目标进行识别。另外在结果展示方面，支持图片、离线视频、Web前端等多形式展现，开发者可根据业务场景灵活呈现识别结果。

2.支持轻松替换和串接模型

该方案当前选用的是YoloV3图片检测模型与CNN颜色分类模型的串接，可实现基本的车辆检测和车辆颜色识别，开发者可轻松修改程序代码，自行替换/增加/删除AI模型，实现更多AI功能。

3.支持高效数据预处理

图片、视频等各类数据是进行目标检测和识别的原料，在把数据投入AI算法或模型前，我们需要对数据进行预加工，才能达到更加高效和准确的计算。该样例采用独立数据预处理模块，支持开发者按需定制，高效实现解码、抠图、缩放、色域转换等各种常见数据处理功能。

4.支持图片数、分辨率可变场景定制

在目标检测和识别领域，开发者们除了需要应对输入数据格式等方面差异，还会经常遇到图片数量、分辨率不确定的场景，这也是格外头疼的问题之一。比如，在目标检测和识别过程中，由于检测出的目标个数不固定，导致程序要等到图片攒到固定数量再进行AI计算，浪费了大量宝贵的AI计算资源。该样例开放了便捷的定制入口，支持设置多种数据量Batch档位、多种分辨率档位，在推理时根据实际输入情况灵活匹配，不仅扩宽了业务场景，更有效节省计算资源，大大提升AI计算效率。

5.支持多路多线程高性能编程

为了进一步提高编程的灵活性，满足开发者实现高性能AI应用，该样例支持通过极为友好和便捷的方式调整线程数和设备路数，极大降低学习成本，提升设备资源利用率。

6.高效后处理计算

除此之外，该样例后续还会将原本需要在CPU上进行处理的功能推送到昇腾AI处理器上执行，利用昇腾AI处理器强大的算力实现后处理的加速，进一步提升整个AI应用的计算效率。

实现流程

该样例使用了图片检测模型与颜色分类模型，基于CANN AI应用编程接口，对数据预处理、模型推理、模型后处理等AI核心计算逻辑进行模块化组装，实现了车辆检测和车身颜色识别基础功能，以输入图片是JPEG压缩图片为例，该样例功能流程如下所示：

1. 首先输入图片送入Device的DVPP进行数据预处理，因为模型的输入要求是非压缩的、指定编码格式的图片，所以首先使用DVPP进行图片的解码操作，解码后格式为YUV420SP_U8。
2. 由于图片的大小与模型要求的大小不一致，解码后我们使用DVPP的VPC功能进行大小的调整。
3. 经过前面的一系列处理后，输入到模型的编码格式YUV420SP_U8仍与模型要求不一致，此时我们可以在模型转换时通过AIPP的色域转换功能实现格式转换，将YUV420SP_U8格式转换为模型要求的BGR格式，这里的色域转换功能其实就相当于在模型中添加了一个色域转换算子，直接在模型推理前实现了编码格式的转换，而无需代码层面的修改。
4. 检测模型推理后的结果就可以送入模型后处理模块，后处理模块根据业务流程需要，进行检测坐标点的存储。
5. 下一步，就是将检测坐标点以及前面预处理后的YUV图片，一起送入分类模型的预处理模块，首先根据检测结果的坐标点信息对输入的图片进行抠图，然后再将其缩放为分类模型要求的大小。
6. 由于颜色分类模型要求的图片编码格式是RGB，同前面的检测模型一样，需要使用AIPP的色域转换功能，在模型推理前将YUV转换为RGB。
7. 最后对分类模型推理后的结果进行处理，在图片上进行画框，标注结果，并根据用户的输出要求进行存储或者在线展示。

快速体验

下面介绍让样例快速跑起来，了解通用目标检测与识别一站式方案的总体编译运行流程，主要是：

1. 输入/输出数据都为图片，其中输入数据请选择jpeg格式的图片
2. 使用1个Device运行

准备环境

这里不做过多介绍，使用的是ECS + 官方推送的镜像，很简单就能搞定了，需要注意的是环境准备好后，请以HwHiAiUser用户体验如下任务。HwHiAiUser用户下已经配置好了环境变量，安装好了应用所需基本依赖。

编译运行样例

因为镜像已经做好了配置，可以直接下载样例，模型与数据，直接编译运行即可。详细步骤如下：

步骤 1 ：下载samples源码仓。

此处已将samples仓下载到$HOME路径下为例， 可以使用以下两种方式下载，请选择其中一种即可

【命令行下载】

cd $HOME
git clone https://gitee.com/ascend/samples.git

【压缩包下载】

a. 在samples仓右上角选择【克隆/下载】下拉框，并选择【下载ZIP】。

b. 将ZIP包以HwHiAiUser用户上传到开发环境的普通用户家目录中。

例如：$HOME/ascend-samples-master.zip

c. 执行以下命令，解压缩zip包。

cd $HOME
unzip ascend-samples-master.zip

步骤 2 : 准备模型及数据。

请参见README中的模型及数据准备章节。

步骤 3 : 样例编译运行。

请参见README中的样例编译运行章节。

【说明】

1. 输入/输出数据都要求为图片，其中输入数据请选择jpeg格式的图片
2. 使用1个Device运行

结果输出

如下图所示，左图为运行的打印输出，右图为输出的推理结果图片：

此外，还支持多种输入输出模式：

根据官方的测试，单device最多支持22路，在输入分辨率1280 * 720的视频下，单帧图像处理耗时20ms，每秒最大处理帧数为50帧。

结语

本次的CANN目标检测与识别一站式方案总体流程图如下图所示，

方案中大量使用了线程，多路线程分别进行数据流转和协同合作，以单device为例，线程关系如下图所示：

此外，还支持定制开发，开发者可根据需要，自行添加包括但不限于如下功能：

详细的操作位置如下图所示，具体可参考本方案代码库的README：

好了，最后奉上本方案代码库的获取方式，如下图所示，当然，也可以点击在前文中咱们提供的链接。

点击关注，第一时间了解华为云新鲜技术~

一文带你了解人脸检测算法的类型及其工作原理(代码片段)

在过去的几年里，人脸识别受到了广泛的关注，被认为是图像分析领域最有前途的应用之一。人脸检测可以考虑人脸识别操作的很大一部分。根据其强度将计算资源集中在持有人脸的图像部分。图片中的人脸检测方法很... 查看详情

带你了解弯曲文本检测算法的两种思路：区域重组和像素分割

摘要：文本检测是文本读取识别的第一步，对后续的文本识别有着重大的影响。本文分享自华为云社区《技术综述十三：弯曲文本检测算法(一）》，作者：我想静静。背景介绍文本检测是文本读取识别的... 查看详情

第十八节基于传统图像处理的目标检测与识别(hog+svm附代码)(代码片段)

其实在深度学习分类中我们已经介绍了目标检测和目标识别的概念、为了照顾一些没有学过深度学习的童鞋，这里我重新说明一次：目标检测是用来确定图像上某个区域是否有我们要识别的对象，目标识别是用来判断图片上这个... 查看详情

基于昇腾cann的卡通图像生成可在线体验啦！十分钟带你了解cann应用开发全流程

摘要：CANN作为昇腾AI处理器的发动机，支持业界多种主流的AI框架，包括MindSpore、TensorFlow、Pytorch、Caffe等，并提供1200多个基础算子。2021年7月8日，第四届世界人工智能大会在上海召开。华为轮值董事长胡厚崑... 查看详情

商品检测数据集训练目标检测数据集与标记(代码片段)

...5.商品数据集标记5.1需求介绍5.2标记6.总结学习目标目标了解常用目标检测数据集了解数据集构成了解数据集标记的需求知道labelimg的标记使用应用应用labelimg完成商品数据集的标记1.常用目标检测数据集pascalVisualObjectClassesV 查看详情

一文带你学会使用yolo及opencv完成图像及视频流目标检测（上）|附源码(代码片段)

计算机视觉领域中，目标检测一直是工业应用上比较热门且成熟的应用领域，比如人脸识别、行人检测等，国内的旷视科技、商汤科技等公司在该领域占据行业领先地位。相对于图像分类任务而言，目标检测会更加复杂一些，不... 查看详情

图像处理手写体英文字母的目标检测与识别实验报告(代码片段)

...enCV类库，基于卷积神经网络对手写体的英文字母进行目标检测与识别。其中涉及的技术有：图片切片、目标检测、图片识别、图片定位、识别出来的字母重新写入到图片中。  关键字:图像切割；手写体识别；... 查看详情

图像处理手写体英文字母的目标检测与识别实验报告(代码片段)

...enCV类库，基于卷积神经网络对手写体的英文字母进行目标检测与识别。其中涉及的技术有：图片切片、目标检测、图片识别、图片定位、识别出来的字母重新写入到图片中。  关键字:图像切割；手写体识别；... 查看详情

模式识别与图像处理课程实验二：基于unet的目标检测网络(代码片段)

模式识别与图像处理课程实验二：基于UNet的目标检测网络一、实验原理与目的二、实验内容三、实验程序3.1、导入库3.2、创建一个解析对象3.3、输入命令行和参数3.4、parse_args()方法进行解析3.5、指定计算机的第一个设备是GPU... 查看详情

opencv矩形检测与计数(代码片段)

文章大纲目标检测的技术方案传统计算机视觉实现参考实现效果参考代码StackOverflow上一些有关零件、形状计数的有趣的回答参考文献与学习路径刚拿到这种需求的时候，首先反应两个解决方案：端到端的深度学习解决方案，大... 查看详情

opencv矩形检测与计数(代码片段)

文章大纲目标检测的技术方案传统计算机视觉实现参考实现效果参考代码StackOverflow上一些有关零件、形状计数的有趣的回答参考文献与学习路径刚拿到这种需求的时候，首先反应两个解决方案：端到端的深度学习解决方案，大... 查看详情

带你掌握如何使用cann算子st测试工具msopst

摘要：本期带您了解如何使用msopst工具。本文分享自华为云社区《【CANN文档速递13期】算子ST测试工具【msopst】》，作者： 昇腾CANN。如何获取msopst工具msopst工具存储在Ascend-cann-toolkit安装目录的“toolkit/python/site-package... 查看详情

目标识别yolov5针对小目标检测的改进模型/添加帧率检测(代码片段)

...下采样。对于一些分辨率很高的遥感/无人机图片，小目标难以被训练识别。本篇博文就来尝试这篇博文YOLOV5模型和代码修改——针对小目标识别所提到的一种改进方案。我所使用的是YOLOv5-5.0版本，数据集采用VisDrone数据... 查看详情

图像处理手写体英文字母的目标检测与识别实验报告(代码片段)

获取本实验的项目代码和实验报告，请>=点击此处=<[0]摘要  近年来，随着python的迅速崛起，人工智能、图像识别、计算机视觉等新兴学科变得火热起来。Python的发展也伴随着它的各种衍生库、衍生编辑器... 查看详情

行人属性识别开源项目(代码片段)

...ar1、百度的行人属性识别项目PP-Human属性识别方案说明1、目标检测/多目标跟踪获取图片/视频输入中的行人检测框，模型方案为PP-YOLOE，详细文档参考PP-YOLOE。2、通过行人检测框的坐标在 查看详情

行人属性识别开源项目(代码片段)

...ar1、百度的行人属性识别项目PP-Human属性识别方案说明1、目标检测/多目标跟踪获取图片/视频输入中的行人检测框，模型方案为PP-YOLOE，详细文档参考PP-YOLOE。2、通过行人检测框的坐标在 查看详情

宝藏昇腾ai应用推荐！cann带你体验黑白图像自动上色的快乐~(代码片段)

摘要：属于“你”那边的麦田天空河水骏马树木……会是什么颜色呢？黑白与色彩似乎把时代分割了两半~我在这头看见了错乱繁华，琳琅满目，看见快速消长的色彩缤纷。翻开一张黑白照片我能看到世代流传的印... 查看详情

『python开发实战菜鸟教程』实战篇：一文带你了解人脸识别应用原理及手把手教学实现自己的人脸识别项目(代码片段)

文章目录0x01：引子0x02：环境搭建0x03：开发实战 1.实现人脸检测标记2.人脸特征点提取3.人脸识别验证0x04：后记开源GitHub地址--> https://github.com/xiaosongshine/dlib_face_recognition推荐补充阅读：『Python开发实战菜鸟... 查看详情