正文

pytorch深度学习实战|基于resnet的花卉图片分类

TiAmozhang  TiAmozhang  2023-04-11  714

关键词：

“工欲善其事，必先利其器”。如果直接使用 Python 完成模型的构建、导出等工作，势必会耗费相当多的时间，而且大部分工作都是深度学习中共同拥有的部分，即重复工作。所以本案例为了快速实现效果，就直接使用将这些共有部分整理成框架的 TensorFlow 和 Keras 来完成开发工作。TensorFlow 是 Google 公司开源的基于数据流图的科学计算库，适合用于机器学习、深度学习等人工智能领域。Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow、CNTK 或 Theano 作为后端运行。Keras 的开发重点是支持快速的实验，所以，本案例中，大部分与模型有关的工作都是基于 Keras API 来完成的。而现在版本的 TensorFlow 已经将 Keras 集成了进来，所以只需要安装 TensorFlow 即可。注意，由于本案例采用的 ResNet 网络较深，所以模型训练需要消耗的资源较多，需要 GPU 来加速训练过程。

1、环境安装

安装 TensorFlow 的 GPU 版本是相对比较繁杂的事情，需要找对应的驱动，安装合适版本的 CUDA 和 cuDNN。而一种比较方便的办法就是使用 Anaconda 来进行 tensorflow-gpu 的安装。具体的安装过程可以参考本书的附录 A.2 部分。其他需要安装的依赖包的名称及版本号如下：

其他依赖包可以在 Anaconda 界面上进行选择安装，也可以将其添加到 requirements.txt 文件，然后使用 conda install -yes -file requirements.txt 命令进行安装。另外，Conda 可以创建不同的环境来支持不同的开发要求。例如，有些工程需要 TensorFlow 1.15.0 环境来进行开发，而另外一些工程需要 TensorFlow 2.1.0 来进行开发，替换整个工作环境或者重新安装 TensorFlow 都不是很好的选择。所以，本案例使用 Conda 创建虚拟环境来解决。

2、数据集简介

在进行模型构建和训练之前，需要进行数据收集。为了简化收集工作，本案例采用已标记好的花卉数据集 Oxford 102 Flowers。数据集可以从 VGG 官方网站上进行下载。单击如图 1 所示的 Downloads 区域的 1、4 和 5 对应的超链接就可以下载所需要的文件。

■ 图 1 Oxford 102 Flowers 数据集下载网站

该数据集由牛津大学工程科学系于 2008 年发布，是一个英国本土常见花卉的图片数据集，包含 102 个类别，每类包含 40 ～ 258 张图片。在基于深度学习的图像分类任务中，这样较为少量的图片还是比较有挑战性的。Oxford 102 Flowers 的分类细节和部分类别的图片及对应的数量如图 2 所示。

■ 图 2 Oxford 102 Flowers 的分类细节和部分类别的图片及对应的数量

除了图片文件(dataset images)，数据集中还包含图片分割标记文件(image segmentations)、分类标记文件(the image iabels)和数据集划分文件(the data splits)。由于本案例中不涉及图片分割，所以使用的是图片、分类标记和数据集划分文件。

3、数据集的下载与处理

Python urllib 库提供了 urlretrieve()函数可以直接将远程数据下载到本地。可以使用 urlretrieve()函数下载所需文件；然后把压缩的图片文件进行解压，并解析分类标记文件和数据集划分文件；再根据数据集划分文件并分成训练集、验证集和测试集；最后，向不同类别的数据集中按图片所标识的花的种类分类存放图片文件。代码及详细注释如代码清单 1 所示。

代码清单 1

import os
from urllib.request import urlretrieve
import tarfile
from scipy. io import loadmat2
from shutil import copyfile
import glob
import numpy as np

"""
函数说明:按照分类(labels)复制未分组的图片到指定的位置10
Parameters:
    data path - 数据存放目录
    labels - 数据对应的标签,需要按标签放到不同的目录
"""

def copy_data_files(data path, labels) :
if not os. path, exists( data path) :
  os.mkdir(data path)
  
  # 创建分类目录
for i in range(0,102) :
os.mkdir(os.path.join( data path, str(i)))

for label in labels:
src path = str(label[0])
dst path = os.path. join(data path, label[1], src path. split(os. sep)[ - 1])
copyfile(src path, dst path)

if_name_ _== '_main_':
  # 检查本地数据集目录是否存在，若不存在，则需创建 
  data set path = "./data'
  if not os. path. exists( data set path) :
    os.mkdir(data set path)
    
#下载 102 Category Elower 数据集并解压 
flowers archive file = "102flowers.tgz'
flowers_url frefix = "https://www,robots.ox.ac.uk/~vgg/data/flowers/102/'
flowers archive path = os.path, join(data set path, flowers archive file)
if not os path.exists(flowers archive path) :
print("正在下载图片文件...")
urlretrieve(flowers url frefix + flowers archive file, flowers archive path)
print("图片文件下载完成.")
print("正在解压图片文件...")
tarfile. open(flowers archive path)..extractall(path = data set_path)
print("图片文件解压完成，")

# 下载标识文件，标识不同文件的类别
flowers labels file = "imagelabels.mat'
flowers labels path = os.path. join(data set path, flowers labels file)
   if not os.path.exists(flowers labels path) :
    print("正在下载标识文件...")
urlretrieve(flowers url frefix + flowers labels file, flowers labels path)
print("标识文件下载完成")
flower_labels = loadmat(flowers_labels_path)['labels'][0] - 1

#下载数据集分类文件,包含训练集、验证集和测试集
sets splits file = "setid.mat"
sets splits_path = os.path. join(data set path, sets splits file)
if not os.path,exists( sets splits path) :
print("正在下载数据集分类文件...")
urlretrieve(flowers url frefix + sets splits file, sets splits path)
print("数据集分类文件下载完成")
sets_splits = loadmat( sets splits path)

# 由于数据集分类文件中测试集数量比训练集多,所以进行了对调
train set = sets splits['tstid'][0] - 1
valid set = sets splits[ 'valid'][0] - 1
test_set = sets splits['trnid'][0] - 1

# 获取图片文件名并找到图片对应的分类标识
image files = sorted(glob.glob(os.path. join(data set path, 'jpg', ' x .jpg')))
image labels = np.array([i for i in zip(image files, flower labels)])

# 将训练集、验证集和测试集分别放在不同的目录下
print("正在进行训练集的复制...")
copy_data files(os.path. join(data set path, 'train'), image labels[train set, :]
  print("已完成训练集的复制,开始复制验证集...")
copy_data files(os.path. join(data_set_path, 'valid'), image labels[valid set, :]
  print("已完成验证集的复制,开始复制测试集...")
copy_data files(os.path, join(data set_path, 'test'), image labels[test set, :] 
  print("已完成测试集的复制,所有的图片下载和预处理工作已完成.")

下载的图片数据有 330MB 左右。国外的网站有时候下载比较慢，可以用下载工具下载，或者使用参考书前言中提供的二维码进行下载。

需要说明的是，分类标记文件 imagelabels.mat 和数据集划分文件 setid.mat 是 MATLAB 的数据存储的标准格式，可以用 MATLAB 程序打开进行查看。本案例中使用 scipy 库的 loadmat()函数对 .mat 文件进行读取。图片分类后的目录结构如图 3 所示。

■ 图 3 图片分类后的目录结构

keras深度学习实战——基于resnet模型实现性别分类(代码片段)

Keras深度学习实战——基于ResNet模型实现性别分类0.前言1.ResNet架构简介2.基于预训练的ResNet50模型实现性别分类2.1训练性别分类模型2.2错误分类图像示例相关链接0.前言从VGG16到VGG19，最显著的变化在于网络层数的增加，通... 查看详情

深度学习-pytorch框架实战系列

深度学习-PyTorch框架实战系列PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能... 查看详情

对比学习:《深度学习之pytorch》《pytorch深度学习实战》+代码

PyTorch是一个基于Python的深度学习平台，该平台简单易用上手快，从计算机视觉、自然语言处理再到强化学习，PyTorch的功能强大，支持PyTorch的工具包有用于自然语言处理的AllenNLP，用于概率图模型的Pyro，扩展了PyTorch的功能。通... 查看详情

pytorch深度学习项目实战100例——基于transformer实现twitter文本隐喻二分类|第43例

前言大家好，我是阿光。本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。正在更新中~✨ 查看详情

自动驾驶中的深度学习模型量化部署加速实战

这里主要是针对AI算法落地的模型部署，其中有基于TensorRT的部署、基于OpenCV+CUDA的部署以及基于NCNN的部署，项目包括简单的demo案例、目标检测、语义分割、实例分割、车道线检测以及Transformer等。大家可以参考以下的链接进行... 查看详情

自动驾驶中的深度学习模型量化部署加速实战

pytorch深度学习项目实战100例——基于lenet5实现交通标志分类任务|第50例

「深度学习一遍过」必修17：基于pytorch细粒度分类实战(代码片段)

本专栏用于记录关于深度学习的笔记，不光方便自己复习与查阅，同时也希望能给您解决一些关于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。专栏地址：「深度学习一遍过」必修篇... 查看详情

pytorch深度学习项目实战100例——基于alexnet实现宠物小精灵（宝可梦）分类任务|第49例

图像分类猫狗分类实战—基于pytorch框架的迁移学习(resnet50模型实现分类实战）(代码片段)

...讲解的特别详细，适合零基础入门。一、前置准备1、pytorch环境搭建pytorch环境安装：StartLocally|PyTorch复制这个代码到pytorch到pycharm环境进行安装：2、数据集介绍在当前目录创建一个dataset文件夹，用来存放数据集。... 查看详情

《自动驾驶中的深度学习模型量化部署加速实战》专栏概述|实战教程，开放源码

参考《深度学习之pytorch实战计算机视觉》pdf

...三大应用方向。计算机视觉学习，推荐阅读《深度学习之PyTorch实战计算机视觉》。学到人工智能的基础概念及Python编程技能，掌握PyTorch的使用方法，学到深度学习相关的理论知识，比如卷积神经网络、循环神经网络、自动编码... 查看详情

pytorch深度学习实战|基于yolov3的安全帽佩戴检测

本期将提供一个利用深度学习检测是否佩戴安全帽的案例，从而展示计算机视觉中的目标识别问题的一般流程。目标检测是基于图片分类的计算机视觉任务，既包含了分类，又包含了定位。给出一张图片，目标检测系统要能够识... 查看详情

pytorch深度学习实战|搭建卷积神经网络进行图像分类与图像风格迁移

PyTorch是当前主流深度学习框架之一，其设计追求最少的封装、最直观的设计，其简洁优美的特性使得PyTorch代码更易理解，对新手非常友好。本文为实战篇，介绍搭建卷积神经网络进行图像分类与图像风格迁移。1... 查看详情

365天深度学习训练营-第j1周：resnet-50算法实战与解析(代码片段)

...么2、ResNet-50介绍四、构造ResNet-50模型1、Tensorflow代码2、Pytorch代码一、前言🍨本文为🔗365天深度学习训练营中的学习记录博客🍖原作者：K同学啊|接辅导、项目定制●难度：夯实基础⭐⭐●语言：Pytho... 查看详情

pytorch入门与实战----pytorch入门(代码片段)

1.深度学习框架 pytorch与其他框架的比较pytorch的学习方法：课程安排：PyTorch是一个基于Python的科学计算库，它有以下特点:类似于NumPy，但是它可以使用GPU可以用它定义深度学习模型，可以灵活地进行深度学习模型的训练和使... 查看详情

pytorch搭建resnet50实现鸟类识别(代码片段)

🍨 本文为🔗365天深度学习训练营中的学习记录博客🍦 参考文章地址：365天深度学习训练营-第J1周：ResNet-50算法实战与解析🍖 作者：K同学啊理论知识储备深度残差网络ResNet（deepresidualnetwork&#x... 查看详情

深度学习理论与实战pytorch实现

课程目录:01.预备内容（入门）02.Python基础（入门）03.PyTorch基础（入门）04.神经网络（进阶）05.卷积神经网络（进阶）06.循环神经网络（进阶）07.生成对抗网络GAN（进阶）08.强化学习（进阶）09.毕业项目下载地址:深度学习理... 查看详情