关键词：
摘要：本案例将使用YOLOX模型，实现一个简单的垃圾分类应用。
本文分享自华为云社区《ModelBox社区案例 - 使用YOLOX做垃圾分类》，作者：HWCloudAI。
1 ModelBox社区案例 - 使用YOLOX做垃圾分类
本案例将使用YOLOX模型，实现一个简单的垃圾分类应用，最终效果如下所示：
本案例所需资源（代码、模型、测试数据等）均可从garbage_det下载
1.1 模型训练与转换
模型采用的是YOLOX网络结构，YOLOX是YOLO系列的优化版本，引入了解耦头、数据增强、无锚点以及标签分类等目标检测领域的优秀进展，拥有较好的精度表现，同时对工程部署友好。训练使用的是“华为云杯”生活垃圾图片分类数据集，该数据集包含一次性快餐盒、果皮果肉、旧衣服等44个类别，共14964张图片。其中，训练集与验证集划分比例为4/1，下图为模型迭代个300个Epoch取得的结果：
ModelArts提供了包括数据标注，训练环境，预置算法在内的丰富的功能，甚至可以通过订阅预置算法实现0代码的模型训练工作。当然你也可以在本地训练自己的模型。我们假设你现在已经拥有了训练好的模型，接下来我们需要将训练好的模型转换成为可以在开发板上运行的模型。我们发布了开发板模型转换案例，参见RK3568模型转换验证案例：
在这个案例中我们演示了从环境适配到模型的转换验证的全流程样例代码，开发者可以通过“Run in ModelArts”一键将Notebook案例在ModelArts控制台快速打开、运行以及进行二次开发等操作。
1.2 应用开发
打开VS Code，连接到ModelBox sdk所在目录或者远程开发板，开始进行垃圾分类应用的开发。下面以RK3568版本为例进行说明，其他版本与之类似。
1.2.1 1）下载模板
执行python solution.py -l可看到当前公开的技能模板：
███ $ python solution.py -l
...
Solutions name:
mask_det_yolo3
…
hand_det_yolox
hand_tracking_yolox
single_hand_pose_yolox_mbv2
multi_hand_pose_yolox_mbv2结果中的hand_det_yolox即为手部检测应用模板，可使用如下命令下载模板：
███ $ python solution.py -s hand_det_yolox
...solution.py工具的参数中，-l 代表list，即列出当前已有的模板名称；-s 代表solution-name，即下载对应名称的模板。下载下来的模板资源，将存放在ModelBox核心库的solution目录下。
1.2.2 2）创建工程
在ModelBox sdk目录下使用create.py创建garbage_det工程，末尾-s参数，表示将使用后面参数值代表的模板创建工程，而不是创建空的工程。
███/modelbox$ python create.py -t server -n garbage_det -s hand_det_yolox
sdk version is modelbox-xxx
success: create garbage_det in ███/modelbox/workspace
workspace目录下将创建出garbage_det工程，工程内容如下所示：
garbage_det
|--bin
│ |--main.bat：应用执行入口
│ |--mock_task.toml：应用在本地执行时的输入输出配置，此应用默认使用本地视频文件为输入源，最终结果输出到另一本地视频文件，可根据需要修改
|--CMake：存放一些自定义CMake函数
|--data：存放应用运行所需要的图片、视频、文本、配置等数据
│ |--hand.mp4：手部检测测试用视频文件—>替换为自己的视频
|--dependence
│ |--modelbox_requirements.txt：应用运行依赖的外部库在此文件定义
|--etc
│ |--flowunit：应用所需的功能单元存放在此目录
│ │ |--cpp：存放C++功能单元编译后的动态链接库，此应用没有C++功能单元
│ │ |--yolox_post：手部检测使用的是YOLOX模型，此处即为后处理功能单元（修改toml文件的类别参数和py文件的draw函数）
|--flowunit_cpp：存放C++功能单元的源代码，此应用没有C++功能单元
|--graph：存放流程图
│ |--garbage_det.toml：默认流程图，使用本地视频文件作为输入源
│ |--garbage_det_camera.toml：摄像头输入对应的流程图
│ |--modelbox.conf：modelbox相关配置
|--hilens_data_dir：存放应用输出的结果文件、日志、性能统计信息
|--model：推理功能单元目录
│ |--detect_hand：手部检测推理功能单元
│ │ |--detect_hand.toml：手部检测推理功能单元的配置文件
│ │ |--yolox_hand.onnx：手部检测onnx模型—>更改为自己的模型
|--build_project.sh：应用构建脚本
|--CMakeLists.txt
|--rpm：打包rpm时生成的目录，将存放rpm包所需数据
|--rpm_copyothers.sh：rpm打包时的辅助脚本1.2.3 3）修改后处理功能单元 yolox_post
a. 修改yolox_post.toml流程图，将其内容修改为（以Windows版ModelBox为例）：
b. 修改yolox_post.py的draw函数实现如下：
def draw(self, img, bboxes):
h, w, c = img.shape
thickness = 2
font_scale = 1
text_font = cv2.FONT_HERSHEY_SIMPLEX
clss_to_text =
0: "Disposable snack box",
1: "Books and papers",
2: "Power bank",
3: "Leftovers",
4: "Package",
5: "Trash can",
6: "Plastic utensils",
7: "Plastic toys",
8: "Plastic coat hanger",
9: "Big Bones",
10: "Dry battery",
11: "Express paper bag",
12: "Plug wire",
13: "Old clothes",
14: "The can",
15: "Pillow",
16: "Skin and pulp",
17: "Stuffed animal",
18: "Defacing plastic",
19: "Soiled paper",
20: "Toiletries",
21: "Cigarette butts",
22: "Toothpick",
23: "Glassware",
24: "Block",
25: "Chopsticks",
26: "Carton carton",
27: "Pot",
27: "Tea residue",
29: "Vegetable help vegetable leaf",
30: "Shell",
31: "The spice bottle",
32: "Paste",
33: "Expired drugs",
34: "Bottle",
35: "Metal kitchenware",
36: "Metal ware",
37: "Metal food cans",
38: "Pot",
39: "Ceramic vessels",
40: "Shoes",
41: "Edible oil drum",
42: "Beverage bottle",
43: "Bones"
for box in bboxes:
x1, y1, x2, y2, score, clss = box
cv2.putText(img, clss_to_text[int(clss)]+': '+":.3".format(score*100)+'%', (int(x1 * w)+10, int(y1 * h)+30),text_font, font_scale, (0, int(clss+1)*5, 0), thickness)
cv2.rectangle(img, (int(x1 * w), int(y1 * h)), (int(x2 * w), int(y2 * h)), (0, int(clss+1)*5, 0), 3)1.2.4 4）修改输入输出配置
我们需要准备一个mp4文件拷贝到data文件夹下，我们使用测试视频garbage.mp4，然后打开工程目录下bin/mock_task.toml文件，修改其中的任务输入和任务输出配置为如下内容：
[input]
type = "url"
url = "../data/garbage.mp4"
[output]
type = “local”
url = “…/hilens_data_dir/garbage_detection_result.mp4”该流程图在本地运行时的逻辑过程是：data_source_parser解析bin/mock_task.toml文件中输入配置的data/garbage.mp4文件，video_demuxer和video_decoder对该文件进行解码，resize、packed_planar_transpose、normalize对原始图像进行缩放、转码、归一化等预处理，然后detect_garbage在预处理后的图像上进行垃圾检测，yolox_post从推理结果中解码出检测框，并把检测框画到原始图像上，最后video_out将图像输出到bin/mock_task.toml文件中输出配置的hilens_data_dir/garbage_detection_result.mp4文件中。
1.2.5 5）用启动脚本执行应用
启动应用前执行build_project.sh进行工程构建，该脚本将编译自定义的C++功能单元（本应用不涉及）、将应用运行时会用到的配置文件转码为Unix格式（防止执行过程中的格式错误）：
███$ ./build_project.sh
dos2unix: converting file xxx.toml to Unix format...
...
build success: you can run main.bat in ./bin folder
Press ‘p’ to pause…, any key to exit然后执行bin/main.bat运行应用：
███$ ./bin/main.bat
…运行结束后在hilens_data_dir目录下生成了garbage_detection_result.mp4文件，可以打开查看：
1.2.6 6）用摄像头检测
打开工程目录下bin/mock_task.toml文件，修改其中的任务输入和任务输出配置为如下内容：
[input]
type = "url"
url = "0" # 表示0号摄像头，即PC自带摄像头，若PC无摄像头需外接USB摄像头
[output]
type = “local”
url = “0:garbage_det” # 表示名为garbage_det的本地窗口即使用编号为0的摄像头（默认为PC自带的摄像头），输出画面显示到名为garbage_det的本地屏幕窗口中。
1.2.7 7）运行应用
执行bin/main.bat camera运行应用，将会自动弹出实时的垃圾分类检测画面：
1.3 打包部署
1.3.1 打包
调试完成后，同样可以通过create.py脚本将应用打包发布：
python ./create.py -t rpm -n garbage_det控制台中输出：
sdk version is modelbox-win10-x64-1.1.0.5
call mb-pkg-tool pack [folder] > [rpm file] to building rpm, waiting...
success: create garbage_det.rpm in D:\\modelbox-win10-x64-1.1.0.5/workspace/garbage_det等待稍许，可以看到项目工程下已经生成了rpm文件夹和打包好的应用：
1.3.2 部署
将打包好的应用上传至华为云账号下的obs桶中：
在专业版设备管理中选择一个开发板，
点击创建部署：
最后添加作业：
这样我们就已经完成了一个AI应用，从模型训练到转换到开发到部署的全部流程。
关于ModelBox核心概念、功能单元和流程图开发的更多介绍，可查看ModelBox手册。
带你从0到1开发ai图像分类应用
摘要：通过一个垃圾分类应用的开发示例，介绍AIGallery在AI应用开发流程中的作用。本文分享自华为云社区《AIGallery：从0到1开发AI图像分类应用》，作者：yd_269359708。现如今，人工智能（AI）技术在计算机领域内，得到... 查看详情
带你从0到1开发ai图像分类应用
摘要：通过一个垃圾分类应用的开发示例，介绍AIGallery在AI应用开发流程中的作用。本文分享自华为云社区《AIGallery：从0到1开发AI图像分类应用》，作者：yd_269359708。现如今，人工智能（AI）技术在... 查看详情
动手做个ai机器人，帮我回消息(代码片段)
大家好，我是鱼皮，自从做了知识分享，我的微信就没消停过，平均每天会收到几百个消息，大部分都是学编程的朋友向我咨询编程问题。但毕竟我只有一个人，没法所有消息都一个个回复，所以也是... 查看详情
动手学深度学习v2(代码片段)
动手学深度学习v201课程安排目标内容形式你将学到什么？资源02深度学习介绍AI地图图片分类物体检测和分割样式迁移人脸合成文字生成图片文字生成03安装本地安装01课程安排目标内容深度学习的核心之一：就是卷积神... 查看详情
带你入门机器学习
什么是机器学习？机器学习的核心思想是创造一种普适的算法，它能从数据中挖掘出有趣的东西，而不需要针对某个问题去写代码。你需要做的只是把数据“投喂”给普适算法，然后它会在数据上建立自己的逻辑。比如说有一种... 查看详情
@csp模拟2019.10.16-t3@垃圾分类(代码片段)
...cceptedcode@@details@@description@为了保护环境，p6pou建设了一个垃圾分类器。垃圾分类器是一个树形结构，由n个垃圾桶和n-1条双向传送带组成。垃圾处理器的编号为1,2,...,n，每条传送带都可以花1秒钟将垃圾从一个垃圾桶输送到另一个... 查看详情
垃圾分类与ai的反碎片之旅
近年来，我国加速推行垃圾分类制度，2021年5月，国家发改委和住建部联合发布《“十四五”城镇生活垃圾分类和处理设施发展规划》，要求到2025年底，京津冀及周边、长三角、粤港澳大湾区、长江经济带、... 查看详情
python垃圾邮件分类器(代码片段)
垃圾分类数据集+垃圾分类识别训练代码(pytorch)(代码片段)
垃圾分类数据集+垃圾分类识别训练代码(Pytorch)目录垃圾分类数据集+垃圾分类识别训练代码(Pytorch)1.前言2.垃圾数据集说明（1）垃圾数据集dataset1（2）垃圾数据集dataset23.垃圾分类识别模型训练（1）项... 查看详情
javaweb框架——自己动手实现一个简化版的springioc框架(代码片段)
一、序 只要是JavaWeb的开发者，相信没有不知道大名鼎鼎的Spring框架的。作为一个优秀的开源框架，Spring包含9大组件，如果想要通过源码去理解每一个组件，复杂度和所花费的时间都容易让人望而却步——笔者平时习惯... 查看详情
12.朴素贝叶斯-垃圾邮件分类(代码片段)
读邮件数据集文件，提取邮件本身与标签。2.邮件预处理2.1传统方法2.1nltk库分词nltk.sent_tokenize(text)#对文本按照句子进行分割nltk.word_tokenize(sent)#对句子进行分词2.2punkt停用词fromnltk.corpusimportstopwordsstops=stopwords.words(‘english‘)2.3NLTK... 查看详情
垃圾分类数据集+垃圾分类识别训练代码(支持googlenet,resnet,inception_v3,mobilenet_v2)(代码片段)
垃圾分类数据集+垃圾分类识别训练代码(支持googlenet,resnet,inception_v3,mobilenet_v2)目录垃圾分类数据集+垃圾分类识别训练代码(支持googlenet,resnet,inception_v3,mobilenet_v2)1.前言2.垃圾数据集说明（1）垃圾数据集dataset1（2&#... 查看详情
一文带你了解webrtc基本原理（动手实现1v1视频通话）(代码片段)
webrtc(WebReal-TimeCommunications)是一个实时通讯技术，也是实时音视频技术的标准和框架。大白话讲，webrtc是一个集大成的实时音视频技术集，包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。对于... 查看详情
动手做个ai机器人，帮我回消息(代码片段)
大家好，我是鱼皮，自从做了知识分享，我的微信就没消停过，平均每天会收到几百个消息，大部分都是学编程的朋友向我咨询编程问题。但毕竟我只有一个人，没法所有消息都一个个回复，所以也是... 查看详情
动手做个ai机器人，帮我回消息(代码片段)
大家好，我是鱼皮，自从做了知识分享，我的微信就没消停过，平均每天会收到几百个消息，大部分都是学编程的朋友向我咨询编程问题。但毕竟我只有一个人，没法所有消息都一个个回复，所以也是... 查看详情
带你读ai论文丨用于细粒度分类的transformer结构—transfg
摘要：本文解读了《TransFG:ATransformerArchitectureforFine-grainedRecognition》，该论文针对细粒度分类任务，提出了对应的TransFG。本文分享自华为云社区《论文解读系列二十：用于细粒度分类的Transformer结构—TransFG》，... 查看详情
你真的理解java垃圾回收吗？万字长文带你彻底搞懂垃圾回收机制(代码片段)
Java垃圾回收机制垃圾回收主要关注Java堆Java内存运行时区域中的程序计数器、虚拟机栈、本地方法栈随线程而生灭；栈中的栈帧随着方法的进入和退出而有条不紊地执行着出栈和入栈操作。每一个栈帧中分配多少内存基本上... 查看详情
垃圾邮件分类2(代码片段)
1.读取file_path=r‘D:PycharmProjectsdataSMSSpamCollection‘sms=open(file_path,‘r‘,encoding=‘utf-8‘)sms_data=[]sms_label=[]csv_reader=csv.reader(sms,delimiter=‘ ‘)forlineincsv_reader:sms_label.append(line[0])sms_data.append(preprocessing(line[1]))#对每封邮件做预处理sms.close(... 查看详情