正文

基于卷积神经网络的人脸表情识别应用--ar川剧变脸(代码片段)

我是一个对称矩阵  我是一个对称矩阵  2023-04-07  236

关键词：

1、摘要

本项目将在Android上实现一种通过识别表情类别，从而给人脸戴上不同样式脸谱的AR软件，效果如下：

基于表情识别的脸谱换脸AR安卓APP效果演示

通过深度学习和Keras训练一个人脸表情识别的卷积神经网络，然后使用TensorFlow Lite转换为tflite文件，部署到Android平台。

想要实现这样一个软件，核心就是两部分：
1）使用卷积神经网络训练一个人脸表情识别模型，
2）将训练好的模型移植到Android平台，同时在Android实现脸谱AR效果，并结合表情识别模型的识别结果，渲染不同的脸谱样式

本文讲第一部分，如何使用Keras训练一个人脸表情识别的卷积神经网络。

第二部分见：基于卷积神经网络的人脸表情识别应用–AR川剧变脸（二）

2、数据集处理

数据集我们使用FER2013PLUS人脸表情识别数据集，大概有35000张图片，每张图片是48*48分辨率的灰度图。

下图展示7个表情类别的数据集样本量，可以看出类别 angry、happy、sad、surprised、normal 这 5 种表情数量较多，而 disgust、fear这 2 种表情较少。

在实验中为了防止出现过拟合现象需要进行数据集扩充，提高模型的泛化能力。数据增强是指对输入的图像进行随机的图像处理，比如旋转、位移、光照强度、裁剪等，对于计算机而言，经过位移后的图像和原图像是两幅不同的图像，但具有相同的标签，从而扩充了已有的数据集。而通过使用大量不同的数据集来训练网络，进一步提高深度模型的泛化能力，使得网络即不过拟合也不欠拟合，达到最佳状态。

模型的实际使用常见是自由场景，自由场景中光照亮度的不同会影响模型的性能，添加随机光照，同时为了扩充数据集和对非正常角度人脸的识别增加随机旋转、随机聚焦和水平翻转。下图展示对一张 48*48 尺寸，表情为 happy 的灰度图进行随机亮度、随机旋转、随机聚焦和随机水平翻转的效果。可以看出，小型数据集借此技术可以实现数十倍的规模扩充，而数据集规模的提升可以提升网络的泛化能力和鲁棒性，提高网络在场景下的识别准确率。

在Keras中，我们需要使用数据加载器加载数据，最大化硬件利用率，幸运的是Keras已经提供了方法，我们直接使用即可：

def getDenerator(fer2013plus_path="datasets/fer2013plus", batch_size=32):
    """
	我们传递数据集的位置和batch_size，然后函数返回用于训练和测试的数据加载器，用于训练时投喂数据
    :param fer2013plus_path:fer2013plus数据集目录
    :param batch_size:
    :return:
    """
    train_datagen = ImageDataGenerator(    # 定义数据增强的方式
        brightness_range=(0.7, 1.3),  # 随机亮度
        featurewise_center=False,
        featurewise_std_normalization=False,
        rotation_range=10,  # 随机旋转
        zoom_range=(0.7, 1.3),  # 聚焦
        horizontal_flip=True)  # 水平翻转
        
    train_generator = train_datagen.flow_from_directory(fer2013plus_path+"/train",  # 告诉Keras图片的位置
                                                        target_size=(48, 48),		# 将图片缩放到指定大小
                                                        color_mode="grayscale",		# 因为是灰度图
                                                        batch_size=batch_size,		# 一次性加载多少图片，越大训练越快，但是需要更多的显存
                                                        class_mode='categorical')    

    test_datagen = ImageDataGenerator()  # 水平翻转
    test_generator = test_datagen.flow_from_directory(fer2013plus_path+"/test",
                                                      target_size=(48, 48),
                                                      color_mode="grayscale",
                                                      batch_size=batch_size,
                                                      class_mode='categorical')

    return train_generator,test_generator

3、模型设计

模型设计参考VGG网络，也就是Conv+Conv+Pool式的堆叠。

如下图是VGG的结构，可以看出就是Conv+Conv+Pool式的堆叠，最后使用全连接层，实现1000类别的分类。

但是我们人脸表情识别数据集比较小，仅有3万多张图片，模型太大容易过拟合，所以以VGGNet为蓝本，设计一个比较小的模型，如下图所示，也是conv+conv+pool式，但是更小。

因为我们的表情是7中分类，所以输出的全连接层长度是7。

在Keras中定义模型结构其实而很简单，代码如下：

def getVXSlim():
    model = Sequential()

    # block1
    model.add(Conv2D(64, (5, 5), input_shape=(48, 48, 1), activation='relu', padding='same'))
    model.add(Conv2D(64, (5, 5), activation='relu', padding='same'))
    model.add(BatchNormalization())
    model.add(MaxPooling2D(pool_size=(2, 2)))

    # block2
    model.add(Conv2D(128, (5, 5), activation='relu', padding='same'))
    model.add(Conv2D(128, (5, 5), activation='relu', padding='same'))
    model.add(BatchNormalization())
    model.add(MaxPooling2D(pool_size=(2, 2)))

    # block3
    model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
    model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
    model.add(BatchNormalization())
    model.add(MaxPooling2D(pool_size=(2, 2)))

    # single conv
    model.add(Conv2D(64, (3, 3), padding='same'))

    # classifier
    model.add(Flatten())		# 将多维的数据展成一列，可以理解为将图像展开成一列
    model.add(Dense(7))			# 堆叠一个全连接层，长度为7
    model.add(BatchNormalization())
    model.add(Dense(7))			# 堆叠一个全连接层，长度为7

    # config
    model.add(Activation('softmax'))	# 最后使用softmax激活函数，将输出转换为概率
    model.compile(loss='categorical_crossentropy', metrics=['accuracy'], optimizer='adam')  # 定义优化器

    return model

在上面的代码中使用了Conv2D、BatchNormalization、MaxPooling2D、Dense：

Conv2D：提取特征，将图像分解为多个特征的组合
BatchNormalization：将数据的分布变换为正态分布，再映射到其他分布，可以加快模型的训练速度
MaxPooling2D：可以缩减图像的尺寸
Dense：全连接层，用于综合所有特征进行判断类别

4、训练

其实到这里，最重要的数据加载和模型定义就写好了，就可以开始训练了。训练了100个轮次，然后开始训练。

从图中可以看到，训练集精度和损失在 45epoch 左右进入缓慢优化阶段，在 70epoch左右趋于稳定。测试集精度和损失在 45epoch 左右趋于稳定，最终测试集精度达到 83%，损失低于 0.3，取得了较好的表情识别效果。

都说深度学习是黑盒，我们来看看训练出来的模型的可视化效果。

在可视化中间输出部分，通过卷积网络的每层都会输出结果，通过将结果可视化可以看到输入图片在网络中的流动形式，在这里展示第 3 层的 max_pooling2d、第 4 层的conv2d_2 和第 8 层的 conv2d_4 的输出结果。在图中可以看出，在开始阶段实际上是各种边缘检测器的集合，在这一阶段，激活几乎保留了输入图像中所有的信息。在第二幅中，虽然仍有边缘检测的痕迹，但是此时更加像是对某些局部部位的特征检测，随着层数的加深，中间激活的结果变得越来越抽象，也更加难以直观地理解。在第三层中几乎无法和原图联系起来。所以抽象是卷积神经网络的一大能力，而这种能力也正是人类所拥有的。

我们将本文设计的模型和VGG9，以及mini_Xception进行对比：

从图中可以看出，本文的VXSlim网络的验证集精度最高，达到了 83%，VGG9 达到了 82%，mini_Xception 最低，只有79%

那么本文的模型在7种表情类别上的效果如何？可以看到最好的是开心类别，正确率达到了91%！

我们把每一个类的正确识别率用曲线表示，可以看到本文设计的模型在7种类别上的正确率都是最高的，很nice！

5、效果展示

通过摄像头进行表情识别效果展示

VXSlim演示_x264

代码资源：
链接：https://pan.baidu.com/s/1Y0xWDmz_lg04PTiukoBVgQ?pwd=ozn5
提取码：ozn5

深度学习卷积神经网络(cnn)人脸表情识别系统(gui界面)

文件大小：34M开发环境：Python3.8、Pytorch、PyCharm2020点击下载：点击下载简要概述：深度学习卷积神经网络(CNN)人脸表情识别系统(GUI界面)，FER2013数据集演示视频：毕业论文查看详情

毕业设计/matlab系列基于pca和bp神经网络的人脸识别系统（基于ar人脸库）

...在大学毕业设计的时候，在毕业设计中实现了基于PCA和BP神经网络的人脸识别系统，采用matlab语言，采用复杂的AR人脸库，准确率达到了75%以上。AR人脸库的人脸存在光线变化和遮挡，相对ORL人脸库更加复杂。注：需要相关代码可... 查看详情

毕业设计/matlab系列基于pca和bp神经网络的人脸识别系统（基于ar人脸库）

模式识别设计：基于matlabpca的bp神经网络人脸表情分类识别

...：点击下载简要概述：基于误差反向传播算法的BP神经网络的人脸表情分类识别系统，利用PCA（主成分分析法）对人脸图像进行降维并提取主成分特征，利用K-交叉检验法训练BP神经网络。表情分类查看详情

人脸表情识别系统——基于mini-xception网络模型实现表情分类

人脸表情识别系统介绍目录1.背景2.人脸检测3.人脸表情识别3.1Mini-Xception网络查看详情

成都哪里看川剧好？川剧变脸门票价格-黄龙溪天府锦绣梨园！

...还可圈可点，最怕的是技术不到家的新手。有甚者打着“川剧变脸”的标号，涂着粉墨浓重的妆容，不太熟练的手法，一身风格杂乱的戏服，一看就是门外汉......这让我想起了前段时间火遍网络的一个新闻：河北保定某商场火锅... 查看详情

深度学习基于卷积神经网络（tensorflow）的人脸识别项目(代码片段)

...，所以我想实现一个界面化的一个人脸识别。对卷积神经网络的概念比较陌生的可以看一看这篇文章：卷积实际上是干了什么想了解神经网络的训练流程、或者环境搭建的可以看这篇文章：环境搭建与训练流程如果想... 查看详情

基于cnn卷积神经网络的tensorflow+keras深度学习的人脸识别(代码片段)

基于CNN卷积神经网络的TensorFlow+Keras深度学习的人脸识别前言项目实现效果补充模型数据嵌入模型CNN神经网络模型项目概述项目运行流程核心环境配置项目核心代码详解目录核心代码设置数据集目录收集人脸识别数据——UUID格... 查看详情

深度学习基于卷积神经网络（tensorflow）的人脸识别项目(代码片段)

目录前言基本思路测试人脸识别效果设计思路详细代码加载模型人脸预测主要逻辑测试效果总结所有代码face_predict_use_keras.pykeras_train.pyload_data.pyface_predict_use_keras.py以上就是全部代码啦。有啥疑问就评论区讨论奥。前言经过前段... 查看详情

基于facenet+retinaface+pytorch实现卷积神经网络(cnn)人脸识别

....30、PyCharm2020点击下载：点击下载简要概述：卷积神经网络的人脸识别，人脸检测用的是Retinaface，识别用到的是facenet。两组都是训练好的模型，在modeldata目录下。如果需要自己训练就在face 查看详情

深度学习基于卷积神经网络（tensorflow）的人脸识别项目(代码片段)

活动地址：CSDN21天学习挑战赛目录前言基本思路关于环境OpenCVOpenCV具有的特征OpenCV具有的功能安装OpenCV关键APIimreadnamedWindow示例cv2.VideoCapture(0)CascadeClassifiercap.isOpened()ok,frame=cap.read()cv2.cvtColor(frame,cv2.COLOR_B 查看详情

深度学习基于卷积神经网络（tensorflow）的人脸识别项目(代码片段)

...函数Tanh/双曲正切激活函数ReLU激活函数损失函数作用建立神经网络模型参数说明CNN模型网络结构训练模型训练结果评估模型加载模型评估测试测试结果总结前言经过前段时间研究，从LeNet-5手写数字入门到最近研究的一篇天气... 查看详情

人脸表情识别基于matlabguilbp+svm脸部动态特征人脸表情识别含matlab源码1369期

一、LBP+SVM简介人的脸部是非常值得关注的外部特征。人与人交流不需要接触对方就可以识别对象的一些心里活动,丰富多样的表情能够在很多情况下代替语言表达自己的内心情感。人与人不但可以通过表情来表达情绪,还能分辨出... 查看详情

人脸表情识别基于matlabguilbp+svm脸部动态特征人脸表情识别含matlab源码1369期

智能门锁人脸识别技术的原理是怎样的？

人脸识别主要基于深度学习实现，利用卷积神经网络（CNN）对海量的人脸图片进行学习，卷积出包括表征人脸的脸型、鼻子、眼睛、嘴唇、眉毛等等的特征模型，对输入的图像提取出对区分不同人脸有用的特征向量。通过特征向... 查看详情

用java写人脸识别算法都有哪些？

...边缘特征。ConvolutionalNeuralNetworks(CNNs):这是一种基于卷积神经网络的人脸识别算法，它模拟了人类大脑中的视觉识别过程。这些算法都是广泛用于人脸识别应用中的，根据具体需求和应用环境选择合适的算法是很重要的。参考技... 查看详情

神经网络-人脸表情识别(代码片段)

...小项目是非常经典的，会了这个项目也就掌握了卷积神经网络的使用。之后自己举一反三也就会人脸口罩识别、性别识别、动物识别、手写数字识别、手写字母识别、车牌识别等等各种图片的识别。所以本期第一个小项目是... 查看详情

深度学习项目-人脸表情识别(代码片段)

人脸表情识别简介使用卷积神经网络构建整个系统，在尝试了Gabor、LBP等传统人脸特征提取方式基础上，深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。环境部署基于Python3和Keras2（Tenso... 查看详情