pytorch中统计模块参数的学习笔记(代码片段)

songyuc songyuc     2022-10-21     336

关键词:

关于模型的参数统计,请参考博文《PyTorch几种情况下的参数数量统计·爽朗》
这里我们参考了上面的博文,对不同的统计方式进行了测试,其结果是torchinfo的结果是最方便的[test_torch_parameters.ipynb]
对于统计某个模块的参数,可以使用下面的代码:

sum(p.numel() for p in module.parameters() if p.requires_grad)

更好的方式是使用torchinfo,示例代码如下:

from torchinfo import summary

model = ConvNet()
summary(model, input_size=(16, 1, 28, 28))

pytorch学习笔记5.torchvision库(代码片段)

PyTorch学习笔记5.torchvision加载数据集一、简介二、安装三、torchvision的主要功能示例1.加载model(1)加载几个预训练模型(2)只加载模型,不加载预训练参数(4)加载部分预训练模型(5)调整模型(6)加载非预训练模型的方法3.1.6.1保存和... 查看详情

pytorch学习笔记5.torchvision库(代码片段)

PyTorch学习笔记5.torchvision加载数据集一、简介二、安装三、torchvision的主要功能示例1.加载model(1)加载几个预训练模型(2)只加载模型,不加载预训练参数(4)加载部分预训练模型(5)调整模型(6)加载非预训练模型的方法3.1.6.1保存和... 查看详情

pytorch学习笔记:pytorch生态简介(代码片段)

PyTorch生态简介往期学习资料推荐:1.Pytorch实战笔记_GoAI的博客-CSDN博客2.Pytorch入门教程_GoAI的博客-CSDN博客本系列目录:PyTorch学习笔记(一):PyTorch环境安装PyTorch学习笔记(二):简介与基础知识Py... 查看详情

pytorch学习笔记——多层感知机的实现(代码片段)

本文预备知识:Pytorch学习笔记(四)——torchvision工具箱目录一、FashionMNIST数据集二、torch.nn2.1nn.Module2.2nn.Sequential2.3查看神经网络的参数三、LossFunction四、torch.optim五、训练与测试附录:完整代码一、FashionMNIST数... 查看详情

学习笔记:深度学习——基于pytorch的bert应用实践(代码片段)

学习时间:2022.04.26~2022.04.30文章目录7.基于PyTorch的BERT应用实践7.1工具选取7.2文本预处理7.3使用BERT模型7.3.1数据输入及应用预处理7.3.2提取词向量7.3.3网络建模7.3.4参数准备7.3.5模型训练7.基于PyTorch的BERT应用实践本节着重于将BER... 查看详情

我是土堆-pytorch教程知识点学习总结笔记(代码片段)

此文章为【我是土堆- Pytorch教程】知识点学习总结笔记(三)包括:torchvision中的数据集使用、DataLoader的使用、神经网络的基本骨架-nn.Module的使用、土堆说卷积操作(可选看)、 神经网络-卷积层、神经网络... 查看详情

pytorch学习笔记2.运行官网训练推理的入门示例(代码片段)

PyTorch学习笔记2.运行官网训练、推理的入门示例一、加载数据二、创建模型torch.nn.Sequential介绍:torch.nn.Linear3.torch.nn.ReLU三、调整模型参数四、保存模型五、加载模型一、加载数据首先引用必要的库:importtorchfromtorchimportnn... 查看详情

pytorch学习笔记:pytorch进阶训练技巧(代码片段)

PyTorch实战:PyTorch进阶训练技巧往期学习资料推荐:1.Pytorch实战笔记_GoAI的博客-CSDN博客2.Pytorch入门教程_GoAI的博客-CSDN博客本系列目录:PyTorch学习笔记(一):PyTorch环境安装PyTorch学习笔记(二)... 查看详情

pytorch学习笔记:模型定义修改保存(代码片段)

往期学习资料推荐:1.Pytorch实战笔记_GoAI的博客-CSDN博客2.Pytorch入门教程_GoAI的博客-CSDN博客本系列目录:PyTorch学习笔记(一):PyTorch环境安装PyTorch学习笔记(二):简介与基础知识PyTorch学习笔记&#... 查看详情

pytorch学习笔记第三篇———自动梯度(torch.autograd)(代码片段)

文章目录1.一个神经网络例子2.Autograd的微分3.计算图4.从DAG中排除训练神经网路(NN,neuralnetwork)分为正向传播和反向传播。在正向传播中,NN对正确的输出进行最佳猜测。它通过其每个函数运行输入数据以进行猜测。在反向传播... 查看详情

pytorch笔记:调整学习率(torch.optim.lr_scheduler)(代码片段)

1概述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learningrate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。2 lr_scheduler调整策略举例2.1 torch.optim.lr_sc... 查看详情

pytorch笔记:vgg16(代码片段)

理论部分见:机器学习笔记:VGG16_UQI-LIUWJ的博客-CSDN博客1直接调用importtorch,torchvisionmodel=torchvision.models.vgg16()1.1torchsummary查看模型和参数fromtorchsummaryimportsummarysummary(model,(3,224,224))'&# 查看详情

学习笔记《pytorch入门》完整的模型训练套路(cifar10model)(代码片段)

文章目录准备数据集(训练和测试)搭建神经网络创建损失函数,分类问题使用交叉熵创建优化器设置训练网络的一些参数进入训练循环准备进入测试步骤完整代码:准备数据集(训练和测试)训练数据集... 查看详情

pytorch模型训练实用教程学习笔记:二模型的构建(代码片段)

前言最近在重温Pytorch基础,然而Pytorch官方文档的各种API是根据字母排列的,并不适合学习阅读。于是在gayhub上找到了这样一份教程《Pytorch模型训练实用教程》,写得不错,特此根据它来再学习一下Pytorch。仓库地... 查看详情

python学习笔记4(函数与模块)(代码片段)

1.Python程序的结构Python的程序由包(package)、模块(module)和函数组成。模块是处理一类问题的集合,由函数和类组成。包是由一系列模块组成的集合。包是一个完成特定任务的工具箱。2.函数2.1函数的定义defsayHello():print‘HelloWorld!‘... 查看详情

我是土堆-pytorch教程知识点学习总结笔记(代码片段)

此文章为【我是土堆- Pytorch教程】知识点学习总结笔记(五)包括:完整的模型训练套路(一)、完整的模型训练套路(二)、完整的模型训练套路(三)、利用GPU训练(一)、利用GPU... 查看详情

linux中统计文件中一个字符串出现的次数(代码片段)

要统计一个字符串出现的次数,这里现提供自己常用两种方法:1.使用vim统计用vim打开目标文件,在命令模式下,输入:%s/objStr//gn2.使用grep:grep-oobjStrfilename|wc-l3.如果是多个字符串出现次数,可使用:grep-o‘objStr1|objStr2‘filenam... 查看详情

pytorch学习笔记——图像处理(transforms.normalize归一化)(代码片段)

PyTorch学习笔记——图像处理transforms.Normalize归一化回顾torchvision.ToTensor归一化transforms.Normalize公式回顾torchvision.ToTensor在看这一片博客之前,需要先浏览以下我的上一篇博客PyTorch学习笔记——图像处理(torchvision.ToTensorÿ... 查看详情