基于pytorch,如何构建一个简单的神经网络

AI科技大本营 AI科技大本营     2022-12-15     614

关键词:

本文为 PyTorch 官方教程中:如何构建神经网络。基于 PyTorch 专门构建神经网络的子模块 torch.nn 构建一个简单的神经网络。

完整教程运行 codelab→

https://openbayes.com/console/open-tutorials/containers/OgcYkLjKw89

torch.nn 文档→

https://pytorch.org/docs/stable/nn.html

神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。

PyTorch 中的每个模块都是 nn.module 的子类。

在下面的部分中,我们将构建一个神经网络来进行10种类别的分类。

建立神经网络

神经网络由对数据执行操作的层/模块组成。torch.nn 提供了构建神经网络所需的所有模块。PyTorch 中的每个模块都是 nn.module 的子类。

在下面的部分中,我们将构建一个神经网络来进行10种类别的分类。

import osimport torchfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasets, transforms

加载训练设备

我们希望能够在硬件加速器,比如 GPU 上训练我们的模型。可以通过 torch.cuda 来检测 GPU 是否可用。

device = 'cuda' if torch.cuda.is_available() else 'cpu' #检测gpu是否可用,不可用使用cpuprint('Using  device'.format(device)) #输出使用设备类型

定义类

我们通过 nn.Module 来定义神经网络,并在__init__ 中初始化神经网络。每个 nn.Module 子类在 forward 方法中实现对输入数据的操作。

class NeuralNetwork(nn.Module):    def __init__(self): #定义网络结构        super(NeuralNetwork, self).__init__()        self.flatten = nn.Flatten()        self.linear_relu_stack = nn.Sequential(            nn.Linear(28*28, 512),            nn.ReLU(),            nn.Linear(512, 512),            nn.ReLU(),            nn.Linear(512, 10),            nn.ReLU()        )
    def forward(self, x): #前向传播        x = self.flatten(x)        logits = self.linear_relu_stack(x)        return logits

在使用模型前需要先实例化模型,并将其移动到 GPU 上

model = NeuralNetwork().to(device) #实例化模型print(model)

为了在模型的输入和输出之间创建复杂的非线性映射,需要使用非线性的激活函数。

它们在线性变换后引入非线性,帮助神经网络学习各种各样的复杂映射。在这个模型中,我们在线性层之间使用 nn.ReLU,也可以使用其他激活函数来引入非线性。

X = torch.rand(1, 28, 28, device=device)  #生成(1,28,28)的数据logits = model(X) #向模型输入数据pred_probab = nn.Softmax(dim=1)(logits) #调用softmax 将预测值映射为(0,1)间的概率y_pred = pred_probab.argmax(1) #最大概率对应分类print(f"Predicted class: y_pred")

神经网络各层说明

接下来,我们分解网络来具体讲述每一层的功能。

为了说明这一点,我们将取小批量的3个尺寸为28x28的图像样本输入网络

input_image = torch.rand(3,28,28) #生成(3,28,28)的数据print(input_image.size())

nn.Flatten 层

Flatten 层用来把多维的输入一维化,常用在从卷积层到全连接层的过渡。

nn.Flatten 层,可以将每个 28x28 图像转换 784 ($28\\times 28=784$)个像素值的连续数组(批量维度保持为3)。 

flatten = nn.Flatten() flat_image = flatten(input_image) #(3,28,28)转换为(3,784)print(flat_image.size())

nn.Linear 层

nn.Linear 层,即线性层,是一个使用权重和偏差对输入数据作线性变换的模块。

layer1 = nn.Linear(in_features=28*28, out_features=20) #输入(3,28*28) 输出(3,20)hidden1 = layer1(flat_image)print(hidden1.size())

nn.ReLU 层

为了在模型的输入和输出之间创建复杂的非线性映射,需要使用非线性的激活函数。它们在线性变换后引入非线性,帮助神经网络学习各种各样的复杂映射。

在这个模型中,我们在线性层之间使用 nn.ReLU,也可以使用其他激活函数来引入非线性。

print(f"Before ReLU: hidden1\\n\\n")hidden1 = nn.ReLU()(hidden1)print(f"After ReLU: hidden1")

nn.Sequential 层

神经网络的最后一个线性层返回 logits,即值域区间在$[-\\infty,\\infty]$中的原始值。这些值传递给nn.Softmax模块后,logit被缩放为$[0,1]$区间中,表示模型对每个类的预测概率。

dim参数表示每一维度进行运算的位置,运算结果相加为1。

softmax = nn.Softmax(dim=1)pred_probab = softmax(logits)

输出模型结构

神经网络中的许多层都是参数化的,即具有相关联的权重和偏差,这些参数在训练中被迭代优化。

子类 nn.Module 自动跟踪模型对象内部定义的所有字段,并使用模型的 parameters() 或 named_parameters() 方法访问所有参数。

我们可以通过模型迭代每个参数,并输出其尺寸和值。

print("Model structure: ", model, "\\n\\n")
for name, param in model.named_parameters():    print(f"Layer: name | Size: param.size() | Values : param[:2] \\n")

最终输出结果可访问完整教程:

https://openbayes.com/console/open-tutorials/containers/OgcYkLjKw89

基于pytorch使用实现cnn如何使用pytorch构建cnn卷积神经网络(代码片段)

基于pytorch使用实现CNN如何使用pytorch构建CNN卷积神经网络本文是一个基于pytorch使用CNN在生物信息学上进行位点预测的例子基于pytorch实现CNN,基于CNN进行位点预测,将CNN代码进行封装,可以非常简单的使用代码,基... 查看详情

基于pytorch的深度学习入门教程——构建神经网络

...2:PyTorch的自动梯度计算Part3:使用PyTorch构建一个神经网络Part4:训练一个神经网络分类器Part5:数据并行化本文是关于Part3的内容。 Part3:使用PyTorch构建一个神经网络神经网络可以使用touch.nn来构建。nn依赖于... 查看详情

pytorch应用:构建神经网络(代码片段)

Pytorch初步应用:构建一个神经网络学习目标1.构建神经网络的典型流程2.定义一个Pytorch实现的神经网络3.损失函数4.反向传播(backpropagation)5.更新网络参数6.总结学习目标掌握用Pytorch构建神经网络的基本流程.掌握用Pytorch构建神... 查看详情

如何在 PyTorch 中构建具有两个输入的网络

...间】:2019-01-1300:08:46【问题描述】:假设我想拥有通用的神经网络架构:Input1-->CNNLayer\\--->FCLayer--->Output/Input2-->FCLayerInput1是图像数据,input2是非图像数据。我已经在 查看详情

用pytorch构建基于卷积神经网络的手写数字识别模型(代码片段)

...n.net/topics/613989052目录一、MINST数据集介绍与分析二、卷积神经网络三、基于卷积神经网络的手写数字识别一、MINST数据集介绍与分析        MINST数据库是机器学习领域非常经典的一个数据集,其由Yann提供的手写数字数据... 查看详情

小白学习pytorch教程七基于乳腺癌数据集​​构建logistic二分类模型(代码片段)

...、文字分类都属于这一类。在这篇博客中,将学习如何在PyTorch中实现逻辑回归。文章目录1.数据集加载2.预处理3.模型搭建4.训练和优化1.数据集加载在这里,我将使用来自sklearn库的乳腺癌数据集。这是一个简单的二元类分类数据... 查看详情

使用pytorch构建神经网络的流程以及一些问题(代码片段)

使用PyTorch构建神经网络十分的简单,下面是我总结的PyTorch构建神经网络的一般过程以及我在学习当中遇到的一些问题,期望对你有所帮助。PyTorch构建神经网络的一般过程下面的程序是PyTorch官网60分钟教程上面构建神经网络的例... 查看详情

为啥我的简单 pytorch 网络不能在 GPU 设备上运行?

】为啥我的简单pytorch网络不能在GPU设备上运行?【英文标题】:Whydoesn\'tmysimplepytorchnetworkworkonGPUdevice?为什么我的简单pytorch网络不能在GPU设备上运行?【发布时间】:2019-01-0709:47:42【问题描述】:我根据教程构建了一个简单的网... 查看详情

yoloair,一个基于pytorch的yolo工具箱...

...内容不迷路机器之心编辑部YOLOAir算法代码库是一个基于PyTorch的YOLO系列目标检测开源工具箱。使用统一模型代码框架、统一应用方式、统一调参,该库包含大量的改进模块,可使用不同网络模块来快速构建不同网络的检... 查看详情

yoloair,一个基于pytorch的yolo工具箱...

...内容不迷路机器之心编辑部YOLOAir算法代码库是一个基于PyTorch的YOLO系列目标检测开源工具箱。使用统一模型代码框架、统一应用方式、统一调参,该库包含大量的改进模块,可使用不同网络模块来快速构建不同网络的检... 查看详情

5pytorch构建模型的三种方式(代码片段)

...的迁移、可视化、多个GPU并行计算。pytorch在torch.nn提供了神经网络模型的所有子 查看详情

用pytorch构建神经网络的基本流程和实现过程(代码片段)

关于torch.nn:使用Pytorch来构建神经网络,主要的工具都在torch.nn包中.nn依赖于autograd来定义模型,并对其自动求导.构建神经网络的典型流程:定义一个拥有可学习参数的神经网络遍历训练数据集处理输入数据使其流经神经网络计算损失... 查看详情

[基于pytorch的mnist识别01]神经网络建立(代码片段)

写在前面前面我曾尝试在无框架的情况下进行神经网络的构建和调参,我发现虽然网络构建起来和运行起来都问题不大,但是在调参时就会显现无框架的弊端。经过初步的调参之后,我建立的网络识别准确率只能达到... 查看详情

基于pytorch完整的训练一个神经网络并进行验证(代码片段)

...thub地址之前学的也不少了,现在要去训练一个完整的神经网络,利用Pytorch和CIFAR10数据集准备数据集importtorchvision#导入torchvision##准备数据集train_data=torchvision.dataset 查看详情

pytorch基本介绍

...张量的梯度。这为构建和训练深度学习模型提供了便利。神经网络(NeuralNetworks):PyTorch提供了构建和训练神经网络的工具,包括各种层、激活函数、损失函数等等。数据加载 查看详情

pytorch使用pytorch进行张量计算自动求导和神经网络构建(代码片段)

本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052首先,让我们介绍一下什么是pytorch,它是一个基于Python的开源深度学习框架,它提供了两个核心功能:张量计算和自动求导。张量计算张量... 查看详情

pytorch入门实战:基于gan生成简单的动漫人物头像(代码片段)

...础知识,可参考我的学习笔记或观看李宏毅老师课程Pytorch中DataLoader和Dataset的基本用法反卷积通俗详细解析与nn.ConvTranspose2d重要参数解释TensorBoard快速入门(Pytorch使用TensorBoard)本文内容本文参考李彦宏老师2021年度的... 查看详情

pytorch之基于经典网络架构训练图像分类模型(代码片段)

...型,并且直接用训练的好权重当做初始化参数2.参考pytorch官网例子3.设置哪些层需要训练4.优化器设置5.训练模块6.测试模型效果本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052一、模块简单介绍我们... 查看详情