正文

戴眼镜检测和识别2：pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)(代码片段)

AI吃大瓜  AI吃大瓜  2023-03-09  698

关键词：

Pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)

（3）戴眼镜分类模型训练(Pytorch)

这是项目《戴眼镜检测和识别》系列之《Pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)》；项目基于深度学习框架Pytorch开发一个高精度，可实时的戴眼镜检测和识别算法（ Eyeglasses Detection and recognition）；项目源码支持模型有resnet18,resnet34,resnet50, mobilenet_v2以及googlenet等常见的深度学习模型，用户可自定义进行训练；准确率还挺高的，采用轻量级mobilenet_v2模型的戴眼镜检测和识别准确率也可以高达98.6217%左右，满足业务性能需求。

模型	input size	Test准确率
mobilenet_v2	112×112	98.6217%
googlenet	112×112	98.7643%
resnet18	112×112	98.8118%

先展示一下，Python版本的戴眼镜检测和识别Demo效果（其中绿色框表示佩戴了眼镜，蓝色框表示未佩戴眼镜）：

【尊重原创，转载请注明出处】 https://blog.csdn.net/guyuealian/article/details/129263640

更多项目《戴眼镜检测和识别》系列文章请参考：

戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接): https://blog.csdn.net/guyuealian/article/details/129263537
戴眼镜检测和识别2：Pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)：https://blog.csdn.net/guyuealian/article/details/129263640
戴眼镜检测和识别3：Android实现戴眼镜检测和识别(含源码，可实时检测)：https://blog.csdn.net/guyuealian/article/details/129263657
戴眼镜检测和识别4：C++实现戴眼镜检测和识别(含源码，可实时检测)：https://blog.csdn.net/guyuealian/article/details/129263677
戴口罩人脸检测1：戴口罩人脸数据集：https://blog.csdn.net/guyuealian/article/details/125069926
戴口罩人脸检测2：Pytorch实现戴口罩人脸检测和戴口罩识别(含训练代码戴口罩人脸数据集)：https://blog.csdn.net/guyuealian/article/details/125428609
戴口罩人脸检测3：Android实现戴口罩人脸检测和戴口罩识别(附Android源码) ：https://blog.csdn.net/guyuealian/article/details/128404379
安全帽检测1：佩戴安全帽数据集：https://blog.csdn.net/guyuealian/article/details/127331580
安全帽检测2：YOLOv5实现佩戴安全帽检测和识别(含佩戴安全帽数据集+训练代码)：https://blog.csdn.net/guyuealian/article/details/127250780
安全帽检测3：Android实现佩戴安全帽检测和识别：https://blog.csdn.net/guyuealian/article/details/127345231

1.戴眼镜检测和识别方法

戴眼镜检测和识别方法有多种实现方案，这里采用最常规的方法：基于人脸检测+戴眼镜分类识别方法，即先采用通用的人脸检测模型，进行人脸检测，然后裁剪人脸区域，再训练一个戴眼镜分类器，对人脸是否戴眼镜进行分类识别（未戴眼镜和戴眼镜两个类别）；

这样做的好处，是可以利用现有的人脸检测模型，而无需重新训练人脸检测模型，可减少人工标注成本低；而戴眼镜分类数据相对而言比较容易采集，分类模型可针对性进行优化。

2.戴眼镜数据集

项目已经收集了戴眼镜数据集（Eyeglasses-Dataset），总共约20000+张图片，分为eyeglasses-train训练集和eyeglasses-test测试集；其中训练集eyeglasses-train中，戴眼镜的人脸数据有10475张图片(标签为face-eyeglasses),不戴眼镜的人脸数据有12841张图片(标签为face)；测试集eyeglasses-test戴眼镜和不戴眼镜的人脸数据各有1000张图片，共2000张图片。

所有数据都标注了人脸框，数据格式为VOC，其中戴眼镜的人脸框标注为face-eyeglasses，不戴眼镜的人脸框标注为face，该数据集可直接用于深度学习戴眼镜检测模型训练。为了方便分类模型训练，已经将eyeglasses-train和eyeglasses-test的人脸区域裁剪，并保存在crops目录中，该数据集可直接用于深度学习戴眼镜分类模型训练。

关于戴眼镜检测数据的使用说明请参考我的一篇博客：戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接): https://blog.csdn.net/guyuealian/article/details/129263537

3.人脸检测模型

本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB

这是一个基于SSD改进且轻量化后人脸检测模型，很slim，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，完全可以不局限我这个方法。

4.戴眼镜分类模型训练

准备好戴眼镜数据后，接下来就可以开始训练戴眼镜分类识别模型；项目模型支持resnet18,resnet34,resnet50, mobilenet_v2以及googlenet等常见的深度学习模型，考虑到后续我们需要将戴眼镜识别模型部署到Android平台中，因此项目选择计算量比较小的轻量化模型mobilenet_v2；如果不用端上部署，完全可以使用参数量更大的模型，如resnet50等模型。

（1）项目安装

整套工程项目基本结构如下：

.
├── classifier                 # 训练模型相关工具
├── configs                    # 训练配置文件
├── data                       # 训练数据
├── libs           
│   ├── convert                # 将模型转换为ONNX工具
│   ├── light_detector         # 人脸检测
│   ├── detector.py            # 人脸检测demo
│   └── README.md               
├── demo.py              # demo
├── README.md            # 项目工程说明文档
├── requirements.txt     # 项目相关依赖包
└── train.py             # 训练文件

项目依赖python包请参考requirements.txt，使用pip安装即可：

numpy==1.16.3
matplotlib==3.1.0
Pillow==6.0.0
easydict==1.9
opencv-contrib-python==4.5.2.52
opencv-python==4.5.1.48
pandas==1.1.5
PyYAML==5.3.1
scikit-image==0.17.2
scikit-learn==0.24.0
scipy==1.5.4
seaborn==0.11.2
tensorboard==2.5.0
tensorboardX==2.1
torch==1.7.1+cu110
torchvision==0.8.2+cu110
tqdm==4.55.1
xmltodict==0.12.0
basetrainer
pybaseutils==0.6.5

项目安装教程请参考：项目开发使用教程和常见问题和解决方法

（2）准备数据

下载戴眼镜数据集eyeglasses-train和eyeglasses-tes，关于戴眼镜检测数据的使用说明请参考我的一篇博客：戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接): https://blog.csdn.net/guyuealian/article/details/129263537

（3）戴眼镜分类模型训练(Pytorch)

项目在《Pytorch基础训练库Pytorch-Base-Trainer(支持模型剪枝分布式训练)》基础上实现了戴眼镜和未戴眼镜二分类识别训练和测试，整套训练代码非常简单操作，用户只需要将相同类别的数据放在同一个目录下，并填写好对应的数据路径，即可开始训练了。

训练框架采用Pytorch，整套训练代码支持的内容主要有：

目前支持的backbone有：googlenet,resnet[18,34,50], ,mobilenet_v2等，其他backbone可以自定义添加
训练参数可以通过(configs/config.yaml)配置文件进行设置

训练参数说明如下：

# 训练数据集，可支持多个数据集
train_data:
  - 'path/to/dataset/eyeglasses-train/face/crops'
  - 'path/to//dataset/eyeglasses-train/face-eyeglasses/crops'
# 测试数据集
test_data:
  - 'path/to/dataset/eyeglasses-test/face/crops'
  - 'path/to/dataset/eyeglasses-test/face-eyeglasses/crops'
# 类别文件
class_name: 'data/class_name.txt'
train_transform: "train"       # 训练使用的数据增强方法
test_transform: "val"          # 测试使用的数据增强方法
work_dir: "work_space/"        # 保存输出模型的目录
net_type: "mobilenet_v2"       # 骨干网络,支持：resnet18/50,mobilenet_v2,googlenet,inception_v3
width_mult: 1.0
input_size: [ 112,112 ]        # 模型输入大小
rgb_mean: [ 0.5, 0.5, 0.5 ]    # for normalize inputs to [-1, 1],Sequence of means for each channel.
rgb_std: [ 0.5, 0.5, 0.5 ]     # for normalize,Sequence of standard deviations for each channel.
batch_size: 16
lr: 0.01                       # 初始学习率
optim_type: "SGD"              # 选择优化器，SGD,Adam
loss_type: "CrossEntropyLoss"  # 选择损失函数：支持CrossEntropyLoss,LabelSmoothing
momentum: 0.9                  # SGD momentum
num_epochs: 100                # 训练循环次数
num_warn_up: 3                 # warn-up次数
num_workers: 4                 # 加载数据工作进程数
weight_decay: 0.0005           # weight_decay，默认5e-4
scheduler: "multi-step"        # 学习率调整策略
milestones: [ 20,50,80 ]       # 下调学习率方式
gpu_id: [ 0 ]                  # GPU ID
log_freq: 50                   # LOG打印频率
progress: True                 # 是否显示进度条
pretrained: True               # 是否使用pretrained模型
finetune: False                # 是否进行finetune

开始训练，在终端输入：

python train.py -c configs/config.yaml

训练完成后，训练集的Accuracy在99%以上，测试集的Accuracy在98%左右

（4）可视化训练过程

训练过程可视化工具是使用Tensorboard，在终端输入命令：

# 基本方法
tensorboard --logdir=path/to/log/
# 例如
tensorboard --logdir=work_space/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/log

可视化效果

（5）戴眼镜识别效果

训练完成后，训练集的Accuracy在99%以上，测试集的Accuracy在98%以上，下表给出已经训练好的三个模型，其中mobilenet_v2的准确率可以达到98.6217%，googlenet的准确率可以达到98.7643%，resnet18的准确率可以达到98.8118%

模型	input size	Test准确率
mobilenet_v2	112×112	98.6217%
googlenet	112×112	98.7643%
resnet18	112×112	98.8118%

```
测试图片文件
```

# 测试图片（Linux）
image_dir='data/test_image' # 测试图片的目录
model_file="data/pretrained/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/model/latest_model_099_98.4316.pth" # 模型文件
out_dir="output/" # 保存检测结果
python demo.py --image_dir $image_dir --model_file $model_file --out_dir $out_dir

Windows系统，请将$image_dir， $model_file ，$out_dir等变量代替为对应的变量值即可，如

# 测试图片（Windows）
python demo.py --image_dir 'data/test_image' --model_file "data/pretrained/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/model/latest_model_099_98.4316.pth" --out_dir "output/"

```
测试视频文件
```

# 测试视频文件（Linux）
video_file="data/video-test.mp4" # 测试视频文件，如*.mp4,*.avi等
model_file="data/pretrained/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/model/latest_model_099_98.4316.pth" # 模型文件
out_dir="output/" # 保存检测结果
python demo.py --video_file $video_file --model_file $model_file --out_dir $out_dir

```
测试摄像头
```

# 测试摄像头（Linux）
video_file=0 # 测试摄像头ID
model_file="data/pretrained/mobilenet_v2_1.0_CrossEntropyLoss_20230228174645/model/latest_model_099_98.4316.pth" # 模型文件
out_dir="output/" # 保存检测结果
python demo.py --video_file $video_file --model_file $model_file --out_dir $out_dir

戴眼镜检测和识别效果展示（其中绿色框表示佩戴了眼镜，蓝色框表示未佩戴眼镜）

（6）一些优化建议

如果想进一步提高模型的性能，可以尝试：

清洗数据集(最重要)：戴眼镜原始数据部分数据是通过网上爬取的，存在部分错误的图片，尽管鄙人已经清洗一部分了，但还是建议你，训练前，再次清洗数据集，不然会影响模型的识别的准确率。
增加训练的样本数据： 建议根据自己的业务场景，采集相关数据，提高模型泛化能力
使用参数量更大的模型：本教程使用的是mobilenet_v2模型，属于比较轻量级的分类模型，采用更大的模型（如resnet50），理论上其精度更高，但推理速度也较慢。
尝试不同数据增强的组合进行训练
增加数据增强：已经支持：随机裁剪，随机翻转，随机旋转，颜色变换等数据增强方式，可以尝试诸如mixup，CutMix等更复杂的数据增强方式
样本均衡：建议进行样本均衡处理
调超参：比如学习率调整策略，优化器（SGD,Adam等）
损失函数：目前训练代码已经支持：交叉熵，LabelSmoothing，可以尝试FocalLoss等损失函数

（7）一些运行错误处理方法

cannot import name 'load_state_dict_from_url'

由于一些版本升级，会导致部分接口函数不能使用，请确保版本对应

torch==1.7.1

torchvision==0.8.2

或者将对应python文件将

from torchvision.models.resnet import model_urls, load_state_dict_from_url

修改为：

from torch.hub import load_state_dict_from_url
model_urls = 
    'mobilenet_v2': 'https://download.pytorch.org/models/mobilenet_v2-b0353104.pth',
    'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth',
    'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth',
    'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth',
    'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth',
    'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth',
    'resnext50_32x4d': 'https://download.pytorch.org/models/resnext50_32x4d-7cdf4587.pth',
    'resnext101_32x8d': 'https://download.pytorch.org/models/resnext101_32x8d-8ba56ff5.pth',
    'wide_resnet50_2': 'https://download.pytorch.org/models/wide_resnet50_2-95faca4d.pth',
    'wide_resnet101_2': 'https://download.pytorch.org/models/wide_resnet101_2-32ee1156.pth',

5.项目源码下载（Python版）

项目源码下载地址：Pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)

整套项目源码内容包含：

提供戴眼镜数据集：训练集eyeglasses-train中，戴眼镜的人脸数据有10475张图片(标签为face-eyeglasses),不戴眼镜的人脸数据有12841张图片(标签为face)，测试集eyeglasses-test戴眼镜和不戴眼镜的人脸数据各有1000张图片，共2000张图片。
提供戴眼镜分类识别训练代码：train.py
提供戴眼镜分类识别测试代码：demo.py
Demo支持图片，视频和摄像头测试
项目支持模型：resnet18,resnet34,resnet50, mobilenet_v2以及googlenet等常见的深度学习模型
项目源码自带训练好的模型文件，可直接运行测试: python demo.py
在普通电脑CPU/GPU上可以实时检测和识别

6.项目源码下载（Android版）

目前已经实现Android版本的戴眼镜检测和识别，详细项目请参考：戴眼镜检测和识别3：Android实现戴眼镜检测和识别(含源码，可实时检测)：https://blog.csdn.net/guyuealian/article/details/129263657

Android戴眼镜检测和识别APP Demo体验：https://download.csdn.net/download/guyuealian/87524194

戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接)

戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接)目录戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接)1.前言2.Eyeglasses-Dataset数据集说明3.Eyeglasses-Dataset数据集下载4.戴眼镜检测和识别（Python版本）5.戴眼镜检... 查看详情

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

...识别模型训练5.戴口罩识别模型Android部署（1）将Pytorch模型转换ONNX模型（2）将ONNX模型转换为TNN模型（3）Android端上部署戴口罩识别（4）Android测试效果（5）运行APP闪退：dlopenfailed:library... 查看详情

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

Android实现戴口罩人脸检测和戴口罩识别(附Android源码)目录Android实现戴口罩人脸检测和戴口罩识别(附Android源码)1.戴口罩识别的方法（1）基于多类别目标检测的戴口罩识别方法（2）基于人脸检测+戴口罩分类识... 查看详情

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

百度网盘人脸识别，为啥只能显示12个人物？不能识别更多人脸吗？

...过不显示具体内容。注1：录入人脸时，需要选择是否戴眼镜，如果戴眼镜，需要录入两次，戴眼镜和不带眼镜分别录入。注2：锁屏界面亮屏并检测人脸通过后，如果没有灭屏，不会再次检测。灭屏再亮屏时，会再次检测人脸。... 查看详情

opencv人脸识别戴眼镜识别不出来是啥问题

参考技术Aopencv人脸识别戴眼镜识别不出来可能有以下几种原因:1、录入状况:录入人脸时是未戴眼镜的情况，导致戴眼镜识别时识别不上。2、网络状况：设备没有链接网络，或信号太差，无法把录入的数据上传到终端，不能执行... 查看详情

戴口罩人脸检测和戴口罩识别(含pythonandroid源码)(代码片段)

戴口罩人脸检测和戴口罩识别(含PythonAndroid源码)目录戴口罩人脸检测和戴口罩识别(含PythonAndroid源码)1.戴口罩识别的方法（1）基于多类别目标检测的戴口罩识别方法（2）基于人脸检测+戴口罩分类识别方法2.戴... 查看详情

戴口罩人脸检测和戴口罩识别(含pythonandroid源码)(代码片段)

如何选眼镜？

1、方形大框架眼镜。如果你是一个羞于表达，不敢戴太过于夸张的框架眼镜的男生，建议你戴方形大框架眼镜。带上这种大框架的眼镜的男生看起来都蛮有内涵的，至少看上去不像我们平时带的那种规则眼镜那么呆板。2、金属... 查看详情

opencv图像融合（给人脸添加一个眼镜）(代码片段)

...一般1importnumpyasnp2importcv2ascv3importdlib4importmath56#做一个戴眼镜的滤镜效果78detector=dlib.get_frontal_face_detector()9predictor=dlib.shape_predict 查看详情

增强现实(ar)智能眼镜的关键技术：标定跟踪与交互

前言增强现实AR智能眼镜是当前社会上比较主流的可穿戴AR设备，是除了手机和平板电脑之外最重要的增强现实支撑设备。前面的文章中，我们已经讨论过与光学透视型头戴显示器相关的标定技术，其实增强现实AR智能... 查看详情

增强现实(ar)智能眼镜的关键技术：标定跟踪与交互

如何选眼镜

...　http://www.3lian.com/zl/2016/07-28/1469686077470914.html男生戴什么眼镜好看?　　1、依据互补原则来选择，通常，脸型较长的可以选择较宽的镜框，缩小长宽比例;而脸型较宽的男生可以选择大框的来缩小脸部比例感。　　2、如果是脸型偏... 查看详情

智能驾驶车牌检测和识别《android实现车牌检测和识别（可实时车牌识别）》(代码片段)

...9;》1.前言2.车牌检测模型（YOLOv5）（1）将Pytorch模型转换ONNX模型（2）将ONNX模型转换为TNN模型3.车牌识别模型（PlateNet）（1）将Pytorch模型转换ONNX模型（2）将ONNX模型转换为TNN模型4.车... 查看详情

智能驾驶车牌检测和识别《android实现车牌检测和识别（可实时车牌识别）》(代码片段)

无所遁形——快把你的口罩戴上（口罩识别）(代码片段)

...像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。疫情当下，学校封校，教室上网课... 查看详情

智能驾驶车牌检测和识别《c++实现车牌检测和识别（可实时车牌识别）》(代码片段)

用眼镜找到眼睛 OpenCv

】用眼镜找到眼睛OpenCv【英文标题】：FindeyeswithglassesOpenCv【发布时间】：2012-03-1400:40:20【问题描述】：我有这个问题，当我尝试使用适用于android的openCv库找到戴眼镜的眼睛时，我的代码不起作用。我的代码如下：tryInputStreamis=th... 查看详情

正文

戴眼镜检测和识别2：pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)(代码片段)

Pytorch实现戴眼镜检测和识别(含戴眼镜数据集和训练代码)

1.戴眼镜检测和识别方法

2.戴眼镜数据集

3.人脸检测模型

4.戴眼镜分类模型训练

（1）项目安装

（2）准备数据

（3）戴眼镜分类模型训练(Pytorch)

（4） 可视化训练过程

（5） 戴眼镜识别效果

（6） 一些优化建议

（7） 一些运行错误处理方法

5.项目源码下载（Python版）

6.项目源码下载（Android版）

戴眼镜检测和识别1：戴眼镜检测数据集(含下载链接)

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

android实现戴口罩人脸检测和戴口罩识别(附android源码)(代码片段)

百度网盘人脸识别，为啥只能显示12个人物？不能识别更多人脸吗？

opencv人脸识别戴眼镜识别不出来是啥问题

戴口罩人脸检测和戴口罩识别(含pythonandroid源码)(代码片段)

戴口罩人脸检测和戴口罩识别(含pythonandroid源码)(代码片段)

如何选眼镜？

opencv图像融合（给人脸添加一个眼镜）(代码片段)

增强现实(ar)智能眼镜的关键技术：标定跟踪与交互

增强现实(ar)智能眼镜的关键技术：标定跟踪与交互

如何选眼镜

智能驾驶车牌检测和识别《android实现车牌检测和识别（可实时车牌识别）》(代码片段)

智能驾驶车牌检测和识别《android实现车牌检测和识别（可实时车牌识别）》(代码片段)

无所遁形——快把你的口罩戴上（口罩识别）(代码片段)

智能驾驶车牌检测和识别《c++实现车牌检测和识别（可实时车牌识别）》(代码片段)

用眼镜找到眼睛 OpenCv

（4）可视化训练过程

（5）戴眼镜识别效果

（6）一些优化建议

（7）一些运行错误处理方法