yolov8训练筷子点数数据集(代码片段)

三叔家的猫 三叔家的猫     2023-03-23     553

关键词:

序言

yolov8发布这么久了,一直没有机会尝试一下,今天用之前自己制作的筷子点数数据集进行训练,并且记录一下使用过程以及一些常见的操作方式,供以后翻阅。

一、环境准备

yolov8的训练相对于之前的yolov5简单了很多,也比其他框架上手要来得快,因为很多东西都封装好了,直接调用或者命令行运行就行,首先需要先把代码git到本地:

git clone https://github.com/ultralytics/ultralytics.git

然后安装ultralytics库,核心代码都封装在这个库里了。

pip install ultralytics

再然后需要安装requirements.txt文件里需要安装的库,python版本要求python>=3.7,torch版本要求pytorch>=1.7.0

pip install -r requirements.txt

接下来我们可以把coco权重下载下来,使用命令行运行检测命令检查环境是否安装成功,将权重下载下来然后新建weights文件夹存放:

运行检测命令:

yolo predict model=./weights/yolov8n.pt source=./ultralytics/assets/bus.jpg save

其中的一些命令,后面再仔细描述,大部分情况下,这个命令行都是可以运行的,运行结束后,图片保存在runs/detect/predict/bus.jpg中,如下:

至此,你的环境就准备好了,接下来就可以训练了。

二、数据准备

数据我使用的是之前自己制作的筷子点数数据集,图片如下:

标注示例:

通常我们采用VOC格式的标注数据,所以新建一个任意位置的文件夹(记住该文件夹的绝对路径),文件夹中包含如下内容:

  • Annotations xml标注文件
  • images 训练的图片
  • ImageSets 用于存放划分的train.txt、test.txt、val.txt文件(初始为空)
  • labels 用于存放yolo格式的标注txt文件(初始为空)

接下来运行如下文件,路径或者类别等参数根据自己的需要修改,运行该文件有两个作用:

  1. 划分train、test、val数据集
  2. 将voc格式标注转换为yolo格式标注
import os
import random
import xml.etree.ElementTree as ET
from os import getcwd


sets = ['train', 'test', 'val']                        # 划分的train、test、val  txt文件名字

classes = ['label']                                    # 数据集类别
 
data_root = "/home/cai/data/chopsticks"                # 数据集绝对路径

trainval_percent = 0.1                                 # 测试集验证集比例
train_percent = 0.9                                    # 训练集比例
xmlfilepath = '/Annotations'.format(data_root)
txtsavepath = '/images'.format(data_root)
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftest = open('/ImageSets/test.txt'.format(data_root), 'w')
ftrain = open('/ImageSets/train.txt'.format(data_root), 'w')
fval = open('/ImageSets/val.txt'.format(data_root), 'w')

for i in list:
    name = total_xml[i][:-4] + '\\n'
    if i in trainval:
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)

ftrain.close()
fval.close()
ftest.close()


# --------------------------------  voc 转yolo代码


def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(image_id):
    in_file = open('/Annotations/.xml'.format(data_root,image_id),encoding='UTF-8')
    # print(in_file)
    out_file = open('/labels/.txt'.format(data_root,image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\\n')


wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('/labels/'.format(data_root)):
        os.makedirs('/labels/'.format(data_root))
    image_ids = open('/ImageSets/.txt'.format(data_root,image_set)).read().strip().split()
    list_file = open('/.txt'.format(data_root,image_set), 'w')
    for image_id in image_ids:
        # print(image_id)
        list_file.write('/images/.jpg\\n'.format(data_root,image_id))
        try:
            convert_annotation(image_id)
        except:
            print(image_id)
    list_file.close()

最后得到如下文件,labels和ImageSets都不再为空:

二、开始训练

v8的训练很简单,配置也超级简单,首先第一步在ultralytics/datasets中创建我们数据集的配置文件,这里我创建了一下chopsticks.yaml,内容如下,其实和之前的v5配置文件一样,该文件中修改自己的路径和类别即可:

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# COCO 2017 dataset http://cocodataset.org by Microsoft
# Example usage: python train.py --data coco.yaml
# parent
# ├── yolov5
# └── data
#     └── chopsticks  ← downloads here


# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: /home/cai/data/chopsticks     # dataset root dir
train: train.txt  # train ImageSets (relative to 'path') 118287 ImageSets
val: val.txt  # val ImageSets (relative to 'path') 5000 ImageSets
test: test.txt  # 20288 of 40670 ImageSets, submit to https://competitions.codalab.org/competitions/20794

# Classes
nc: 1  # number of classes
names: ['label']  # class names

然后就可以开始训练了,训练过v5的同学可能记得还要修改一下models里的yaml文件,但是V8完全不用的,V8提供了两种简单的训练方式,一是命令行运行,直接在终端运行命令:

yolo task=detect mode=train model=./weights/yolov8n.pt data=./ultralytics/datasets/chopsticks.yaml epochs=100 batch=16 device=0

  • task 代表任务类型
  • mode 代表训练
  • model 可以是yaml文件(权重会初始化),也可以是pt文件(初始化时加载预训练模型)
  • data 你创建的数据集yaml文件
  • epochs 训练轮次
  • batch 训练批次
  • device 使用0序号GPU训练

二是python文件运行,创建一个trian.py文件,运行python trian.py:

from ultralytics import YOLO

# 加载模型
# model = YOLO("yolov8n.yaml")  # 从头开始构建新模型
model = YOLO("./weights/yolov8n.pt")  # 加载预训练模型(推荐用于训练)

# Use the model
results = model.train(data="./ultralytics/datasets/chopsticks.yaml", epochs=100, batch=16,device=0)             # 训练模型

train过程比较顺利,训练默认采用早停法,即50个轮次评估中如果模型没有明显的精度提升的话,模型训练会直接停止,可以通过修改patience=50参数控制早停的观察轮次。

训练结束后模型和训练过程保存在runs文件夹中,可以看到精度其实还是不错的,接下来用图片测试一下。

同样的提供两种简单的推理方式,一是命令行,运行:

yolo task=detect mode=predict model=./runs/detect/train/weights/best.pt source=./40.jpg save=True

或者创建一个demo.py文件,运行python demo.py:

from ultralytics import YOLO

# Load a model
# model = YOLO("yolov8n.yaml")  # build a new model from scratch
model = YOLO("./runs/detect/train/weights/best.pt")  # load a pretrained model (recommended for training)

# Use the model
results = model("./40.jpg ")  # predict on an image


可以看到效果还是很不错的。

三、导出onnx

模型训练完后,需要部署,V8也提供了直接了如下格式模型的导出(居然也支持paddlepaddle,惊讶),导出后可以摆脱训练框架进行部署:

命令行导出命令如下:

yolo export model=./runs/detect/train/weights/best.pt format=onnx       # export custom trained model

python文件导出:

from ultralytics import YOLO

# Load a model
model = YOLO('./runs/detect/train/weights/best.pt')  # load a custom trained

# Export the model
model.export(format='onnx')


onnx文件保存在pt文件同级目录下,超级简单丝滑有木有!!


相关数据集和代码提供百度云,需要的朋友可自行下载。

链接:https://pan.baidu.com/s/1k-f61kiOiMA8yf-tqgV4GA?pwd=28hw
提取码:28hw

用yolov8推荐的roboflow工具来训练自己的数据集(代码片段)

YOLOv8是Ultralytics公司开发的YOLO目标检测和图像分割模型的最新版本,相较于之前的版本,YOLOv8可以更快速有效地识别和定位图像中的物体,以及更准确地分类它们。作为一种深度学习技术,YOLOv8需要大量的训练数... 查看详情

yolov8教程系列:一使用自定义数据集训练yolov8模型(详细版教程,你只看一篇->调参攻略),包含环境搭建/数据准备/模型训练/预测/验证/导出等(代码片段)

【YOLOv8训练】使用自定义数据集训练YOLOv8模型(详细版教程,调参必看),包含环境搭建/数据准备/模型训练/预测/验证/导出等0.引言1.环境准备2.数据准备(1)指定格式存放数据集(2)按比例划分... 查看详情

yolov8从0开始搭建部署yolov8,环境安装+推理+自定义数据集搭建与训练,一小时掌握(代码片段)

...细视频教程bilibili详细视频教程一、(ultralytic)YOLOV8项目部署github链接:https://github.com/ultralytics/ultralyticsgit拉取项目:gitclonehttps://github.com/ultralytics/ultralytics.git二、cuda、cudnn、Pytorch等环境安装与卸载首先查看pytorc... 查看详情

yoloyolov8实操:环境配置/自定义数据集准备/模型训练/预测(代码片段)

YOLOv8实操:环境配置/自定义数据集准备/模型训练/预测引言1环境配置2数据集准备3模型训练4模型预测引言源码链接:https://github.com/ultralytics/ultralyticsyolov8和yolov5是同一作者,相比yolov5,yolov8的集成性更好了,... 查看详情

yolov8详解与实战(代码片段)

...集(适用V4,V5,V6,V7,V8)配置yolov8环境训练测试训练自定义数据集Labelme数据集摘要YOLOv8是ultralytics公司在2023年1月10号开源的YOLOv5的下一个重大更新版本,目前支持图像分类、物体检测和实例分割任... 查看详情

windows使用yolov8训练自己的模型(0基础保姆级教学)(代码片段)

...belimg1.2、安装库并启动labelimg1.4、制作YOLO数据集二、使用YOLOv8训练模型2.1、下载库——ultralytics(记得换源)2.2、数据模板下载2.3、开始训练1、启动train.py,进行训练2、我们可以直接使用命令进行训练三、其他问题1... 查看详情

yoloyolov8训练自定义数据集(4种方式)(代码片段)

YOLOv8出来一段时间了,继承了分类、检测、分割,本文主要实现自定义的数据集,使用YOLOV8进行检测模型的训练和使用YOLOv8此次将所有的配置参数全部解耦到配置文件default.yaml,不再类似于YOLOv5,一部分在配... 查看详情

yolov8从pytorch到caffe训练模型并转换到caffemodel(代码片段)

Yolov8从pytorch到caffe(三)训练模型并转换到caffemodel1.训练前数据准备工作2.训练行人摔倒模型pth3.转换模型pth到onnx4.onnx转caffemodel从官方文档可以看到,yolov8的训练可以采用命令行的方式进行,非常方便yolotask=detectmode=trainmodel=yolov... 查看详情

yolov8模型调试记录(代码片段)

...象中,YOLO系列都是完成目标检测方面的任务,而YOLOv8中还可进行分类与语义分割任务。无论哪个YOLOv8模型都有对应的预训练模型。目标检测和分割模型是在COCO数据集上预训练的,而分类模型是在ImageNet数据集上预训... 查看详情

yolov8详解网络结构+代码+实操(代码片段)

文章目录YOLOv8概述模型结构Loss计算训练数据增强训练策略模型推理过程网络模型解析卷积神经单元(model.py)Yolov8实操快速入门环境配置数据集准备模型的训练/验证/预测/导出使用CLI使用python多任务支持检测实例分割分... 查看详情

[课程][原创]yolov8训练自己的目标检测模型windows版

搞定系列:yolov8训练自己的目标检测模型windows版无限期视频有效期课程地址;https://edu.csdn.net/course/detail/3825411节节数5706学生人数研究员熟悉众多计算机编程语言,开发众多windows程序,长期致力于图像算法、深度学习方面研... 查看详情

关于yolov8一些训练的情况

U神出品了最新的yolov8,从公开的参数量来看确实很优秀!!!!比如下图得一些指标:可以看到s模型640得map已经达到了44.9,v8n得map也已经达到了37.3,很强了,但是实际上是怎么样呢,我使... 查看详情

yolov8最强操作教程.(代码片段)

YoloV8详细训练教程.相信各位都知道yolov8发布了,也是U神大作,而且V8还会出论文喔!2023.1.17更新yolov8-grad-cam热力图可视化链接2023.1.20更新YOLOV8改进-添加EIoU,SIoU,AlphaIoU,FocalEIoU链接2023.1.30更新如果你需要修改或者改进yol... 查看详情

fps游戏实战数据集|yolov8训练模型导出|c/c++项目|驱动鼠标模拟人工|加密狗usb硬件虚拟化

...文将介绍如何使用YOLO识别游戏人物。15000张FPS实战数据集yolov8训练模型C++可调下面介绍训练过程,训练的模型可导出供C++调用,鼠标使用VT硬件虚拟化技术调用USB加密狗外设模拟人工操作,此项目为C+... 查看详情

yolov8ultralytics:最先进的yolo模型——简介+实战教程(代码片段)

YOLOv8Ultralytics:最先进的YOLO模型什么是YOLOv8?YOLOv8是来自Ultralytics的最新的基于YOLO的对象检测模型系列,提供最先进的性能。利用以前的YOLO版本,YOLOv8模型更快、更准确,同时为训练模型提供统一框架,... 查看详情

机器学习基础06day(代码片段)

...-交叉验证一般在进行模型的测试时,我们会将数据分为训练集和测试集。在给定的样本空间中,拿出大部分样本作为训练集来训练模型,剩余的小部分样本使用刚建立的模型进行预测。训练集与测试集训练集与测试集的分割可... 查看详情

动物数据集+动物分类识别训练代码(pytorch)(代码片段)

动物数据集+动物分类识别训练代码(Pytorch)目录 动物数据集+动物分类识别训练代码(Pytorch)1.前言2.Animals-Dataset动物数据集说明(1)Animals90动物数据集(2)Animals10动物数据集(3)自定义数据集3.动物分... 查看详情

机器学习--数据操作初试(代码片段)

...据集的划分由于数据集在某些情况下是很珍贵的,并且在训练后需要对模型性能进行验证,因此如果将所有数据都用于训练模型,那么将没有数据可以用来测试模型。所以需要对数据集进行划分,使用一大部分用来训练模型,剩... 查看详情