基于pytorch后量化(mnist分类)---浮点训练vs多bit后量化vs多bit量化感知训练效果对比

踟蹰横渡口,彳亍上滩舟。 踟蹰横渡口,彳亍上滩舟。     2023-03-28     709

关键词:

基于pytorch后量化(mnist分类)—浮点训练vs多bit后量化vs多bit量化感知训练效果对比

代码下载地址:下载地址
试了 bit 数为 1~8 的准确率,得到下面这张折线图:

发现,当 bit >= 3 的时候,精度几乎不会掉,bit = 2 的时候精度下降到 69%,bit = 1 的时候则下降到 10%。

这一方面是 mnist 分类任务比较简单,但也说明神经网络中的冗余量其实非常大,所以量化在分类网络中普遍有不错的效果。

卷积层量化

基于pytorch平台实现对mnist数据集的分类分析(前馈神经网络softmax)基础版(代码片段)

基于pytorch平台实现对MNIST数据集的分类分析(前馈神经网络、softmax)基础版文章目录基于pytorch平台实现对MNIST数据集的分类分析(前馈神经网络、softmax)基础版前言一、基于“前馈神经网络”模型,分类分析... 查看详情

图像分类基于pytorch搭建lstm实现mnist手写数字体识别(双向lstm,附完整代码和数据集)(代码片段)

...sdn.net/AugustMe/article/details/128969138文章中,我们使用了基于PyTorch搭建LSTM实现MNIST手写数字体识别,LSTM是单向的,现在我们使用双向LSTM试一试效果,和之前的单向LSTM模型稍微有差别,请注意查看代码的变化。1.导入依赖库这些依赖... 查看详情

Pytorch MNIST 自动编码器学习 10 位分类

】PytorchMNIST自动编码器学习10位分类【英文标题】:PytorchMNISTautoencodertolearn10-digitclassification【发布时间】:2021-06-1411:42:28【问题描述】:我正在尝试为MNIST构建一个简单的自动编码器,其中中间层只有10个神经元。我希望它能够... 查看详情

pytorch之神经网络mnist分类任务(代码片段)

...使用TensorDataset和DataLoader简化本文参加新星计划人工智能(Pytorch)赛道:https://bbs.csdn.net/topics/613989052一、Mnist分类任务简介在上一篇博客当中,我们通过搭建PyTorch神经网络实现了气温预测,这本质上是一个回归任务。在... 查看详情

pytorch基于cnn的手写数字识别(在mnist数据集上训练)(代码片段)

最终成果http://pytorch-cnn-mnist.herokuapp.com/GITHUBhttps://github.com/XavierJiezou/pytorch-cnn-mnist本文以最经典的mnist数据集为例,讲述了使用pytorch做机器学习的一整套流程,文中所提到的所有代码都可以到github中查看。项目场景简单的... 查看详情

基于pytorch的模型剪枝+模型量化+bn合并+trt部署(cifar数据)

相关代码下载地址:下载地址压缩量化:High-Bit(>2b):QAT,PTQ,QAFT;Low-Bit(≤2b)/TernaryandBinary:QAT剪枝:正常、规整和分组卷积结构剪枝针对特征(A)二值量化的BN融合(训练量化后,BN参数—>conv的偏置b)High-Bit量化的BN融合(训练量化中... 查看详情

基于pytorch的模型剪枝+模型量化+bn合并+trt部署(cifar数据)

1)量化:High-Bit(>2b):QAT,PTQ,QAFT;Low-Bit(≤2b)/TernaryandBinary:QAT2)剪枝:正常、规整和分组卷积结构剪枝3)针对特征(A)二值量化的BN融合(训练量化后,BN参数—>conv的偏置b)4)High-Bit量化的BN融合(训练量化中,先融合再量化,融合... 查看详情

[基于pytorch的mnist识别03]运行模型(代码片段)

写在前面今天调通了pytorch模型,同时进行了简单的模型测试知识点总结1:python忽略某些特定语句的warning:importwarningswithwarnings.catch_warnings():#ignoresomewarningswarnings.simplefilter("ignore")loss=criteri 查看详情

图像分类基于pytorch搭建lstm实现mnist手写数字体识别(单向lstm,附完整代码和数据集)(代码片段)

写在前面:首先感谢兄弟们的关注和订阅,让我有创作的动力,在创作过程我会尽最大能力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌。提起LSTM大家第一反应是在NLP的数据集上比较常见,不过在... 查看详情

基于pytorch的模型剪枝+模型量化+bn合并+trt部署(cifar数据)

1)量化:High-Bit(>2b):QAT,PTQ,QAFT;Low-Bit(≤2b)/TernaryandBinary:QAT2)剪枝:正常、规整和分组卷积结构剪枝3)针对特征(A)二值量化的BN融合(训练量化后,BN参数—>conv的偏置b)4)High-Bit量化的BN融合(训练量化中,先融合再量化,融合... 查看详情

[基于pytorch的mnist识别02]用户数据集的读取(代码片段)

写在前面pytorch包含了很多包括mnist在内的开源数据集,但是如果要建立自己的神经网络的话肯定需要训练自己的数据集,那么如何利用pytorch加载用户自己的数据集呢?今天就来解决这个问题。今天的工作需要加载用... 查看详情

基于pytorch的模型剪枝+模型量化+bn合并+trt部署(cifar数据)

相关代码下载地址:下载地址压缩量化:High-Bit(>2b):QAT,PTQ,QAFT;Low-Bit(≤2b)/TernaryandBinary:QAT剪枝:正常、规整和分组卷积结构剪枝针对特征(A)二值量化的BN融合(训练量化后,BN参数—>conv的偏置b)High-Bit量化的BN融合(训练量化中... 查看详情

[基于pytorch的mnist识别05]总结(代码片段)

写在前面走走停停,我自己做的第一个机器学习的项目:MNIST手写字符集的识别,终于结束了,一路走来也算是踩了大大小小的坑,在这篇文章里做一个总结。模型配置模型总共有4层,输入层有784个神经元... 查看详情

pytorch学习-7:rnn循环神经网络(分类)(代码片段)

pytorch学习-7:RNN循环神经网络(分类)1.加载MNIST手写数据1.1数据预处理2.RNN模型建立3.训练4.预测参考循环神经网络让神经网络有了记忆,对于序列话的数据,循环神经网络能达到更好的效果.1.加载MNIST手写数据importtorchfr... 查看详情

利用knnsvmcnn逻辑回归mlprnn等方法实现mnist数据集分类(pytorch实现)(代码片段)

电脑配置:python3.6*​*Pytorch1.2.0*​*torchvision0.4.0想学习机器学习和深度学习的同学,首先找个比较经典的案例和经典的方法自己动手试一试,分析这些方法的思想和每一行代码是一个快速入门的小技巧,今天我们... 查看详情

跟着b站学习pytorch-p13mnist手写数字图片分类问题(代码片段)

...概述上一节学习了逻辑回归,在这一节里,我们将使用PyTorch来解决分类任务.关于测试数据集MNIST:MNIST包含0~9的手写数字,共有60000个训练集和10000个测试集.数据的格式为单通道28*28的灰度图.数据集很重要。我就是这里翻车了ÿ... 查看详情

使用 pytorch 和 sklearn 对 MNIST 数据集进行交叉验证

】使用pytorch和sklearn对MNIST数据集进行交叉验证【英文标题】:CrossvalidationforMNISTdatasetwithpytorchandsklearn【发布时间】:2020-03-1815:27:22【问题描述】:我是pytorch的新手,正在尝试实现前馈神经网络来对mnist数据集进行分类。我在尝... 查看详情

[基于pytorch的mnist识别04]模型调试(代码片段)

知识点1:nn.MSELoss(x,y)均方根值函数如果输入的x和y参数的维度不同,维度低的tensor会进行扩张填充,扩充形式如下图所示:因此之后在训练模型的时候要保持输入变量参数一致,养成良好的编程习惯。2&#x... 查看详情