关键词：
参考技术A 使用pytorch的心得及结论（一些定理）：训练学习速率
学习速率的调整对效果影响显著
学习速率过大，则无法找到最优点，局部最优点也无法定位，因此无法收敛；
学习速率过小，则只能徘徊在一段空间附近，只能找到局部最优，或者无法找到最优点。
实验证明，最优的学习速率方案是先有个warmup步长，进行学习速率上升， 经过warmup到达最高点，然后逐渐下降。
一定要找到一个合理的学习速率，使全局的学习速率保持到这个均值，才能达到比较好的效果，比如这次bi-gru的调整最优的平均速率是0.01
在保持学习速率均值的情况下，三角学习率> 按照auc逐步衰减> 保持均值不变；
2. 验证集选择
a. 交叉验证的效果好于特定的验证集，最好的训练效果是交叉验证，最后用测试集进行评估，也就是说，训练集、校正集、评估集是三个集合，互不交叉
3. 不同模型merge的最好组合方法
a. merge的最好组合，是模型差异性越大越好，多次实验证明：单模型效果稍差的情况下，cnn与lstm的merge会好于两个lstm的merge效果，
模型差异性大的结果进行merge，会得到最好的效果。
4. fintune微调方式
a. 数据量选择：fintune预训练的集合数据量> 精细标注样本的数据量
b. 预训练层选择：将后面的全连接层与loss计算部分随机初始化，只fintune 词向量层及编码层，效果较好。
c. fintune 优化方式： 1. 若预训练数据集和精分集合相关性小，则全网络fintune ； 2. 若相关性较大， 则低层取较低的学习率， 高层取较高的学习率；或者采用逐层解冻的方式
5. 全连接层的设计：多加几个全连接层，相当于H= H1*relu(HW+b1)+b2, 经过多层线性变换，中间加relu，可以提高模型的非线性适应能力。
6. elmo-bert的loss层或非预训练层：
a. bert的loss层：15% 替换,( 其中 80%:mask, 10% random,10% vocab）class num：vocab size; output seq: 【0 0 0 mask_vocab 0 0 0 0】
b. elmo的loss层， class num：vocab size ， 前seq 预测 后seq
效果对比：在相同的网络结构条件下，bert的fintune比非预训练召回率好7%， elmo比非预训练召回率好3%。
7. 双通道输入的预训练语言模型的网路设计：
预训练的input可以采用title+<SEP>+comment 拼接的方式， 使用相同的encode编码层，在双通道输入时，对编码层和embeeding层做微调。
pytorch之基于经典网络架构训练图像分类模型(代码片段)
...型，并且直接用训练的好权重当做初始化参数2.参考pytorch官网例子3.设置哪些层需要训练4.优化器设置5.训练模块6.测试模型效果本文参加新星计划人工智能(Pytorch)赛道：https://bbs.csdn.net/topics/613989052一、模块简单介绍我们... 查看详情
easynlp简介
...架作者：PAI（阿里云人工智能平台）算法团队平台：基于PyTorch优势：中文预训练模型提供：AppZoo和预训练ModelZoo，ModelZoo有很多预训练模型，EasyNLP可以无缝接入huggingface/transformers的模型；AppZoo支持文本分类，文本匹配，序列标注... 查看详情
动物数据集+动物分类识别训练代码(pytorch)(代码片段)
动物数据集+动物分类识别训练代码(Pytorch)目录 动物数据集+动物分类识别训练代码(Pytorch)1.前言2.Animals-Dataset动物数据集说明（1）Animals90动物数据集（2）Animals10动物数据集（3）自定义数据集3.动物分... 查看详情
pytorch实例2——文本情绪分类器(代码片段)
...型4.5.3测试模型4.5.4保存模型1.实验环境JupyterNotebookPython3.7PyTorch1.4.02.实验目的编写一个自动爬虫程序，并使用它从在线商城的大量商品评论中抓取评论文本以及分类标签（评论得分）。将根据文本的词袋（BagofWord&#... 查看详情
基于pytorch平台实现对mnist数据集的分类分析（前馈神经网络softmax）基础版(代码片段)
基于pytorch平台实现对MNIST数据集的分类分析（前馈神经网络、softmax）基础版文章目录基于pytorch平台实现对MNIST数据集的分类分析（前馈神经网络、softmax）基础版前言一、基于“前馈神经网络”模型，分类分析... 查看详情
使用预训练的 pytorch vgg16 模型及其类进行分类
】使用预训练的pytorchvgg16模型及其类进行分类【英文标题】：Classificationwithpretrainedpytorchvgg16modelanditsclasses【发布时间】：2020-10-1010:05:21【问题描述】：我用pytorch的预训练vgg16模型写了一个图像vgg分类模型。importmatplotlib.pyplotasplti... 查看详情
基于pytorch框架实现手写图片的分类(代码片段)
...模型4，训练模型5，结果评价编辑总结前言基于pytorch框架实现手写图片的分类🍨本文为🔗365天深度学习训练营中的学习记录博客🍦参考文章：Pytorch实战|第P4周：猴痘病识别🍖原作者：K同学... 查看详情
pt之transformer：基于pytorch框架利用transformer算法针对imdb数据集实现情感分类的应用案例代码解析(代码片段)
PT之Transformer：基于PyTorch框架利用Transformer算法针对IMDB数据集实现情感分类的应用案例代码解析目录基于PyTorch框架利用Transformer算法针对IMDB数据集实现情感分类的应用案例思路设计(1)、数据准备(2)、数据预处理(3)、模型构建(... 查看详情
pytorch应用：构建分类器(代码片段)
Pytorch应用：构建分类器学习目标1.分类器任务和数据介绍2.训练分类器的步骤2.1使用torchvision下载CIFAR10数据集2.2定义卷积神经网络2.3定义损失函数2.4在训练集上训练模型2.5保存模型3.在测试集上测试模型3.1展示测试集中的若干... 查看详情
pytorch实现基于charrnn的文本分类与生成(代码片段)
Pytorch实现基于CharRNN的文本分类与生成标签：deep-learningpytorchnlp1简介本篇主要介绍使用pytorch实现基于CharRNN来进行文本分类与内容生成所需要的相关知识，并最终给出完整的实现代码。2相关API的说明pytorch框架中每种网络... 查看详情
嘿~全流程带你基于pytorch手撸图片分类“框架“--huclassify(代码片段)
文章目录前言使用项目结构训练过程准备数据集与配置进入训练训练显示使用模型编码实现配置文件读取配置文件HU数据集解析器其他使用模型LeNet训练实现识别使用实现总结前言鸽了两天，从星期二晚上就开始说要发布这篇... 查看详情
pytorch笔记-imdb数据集文本分类项目模型与训练(代码片段)
IMDB数据集：Kaggle下载地址，影评的积极或消极分类的影评PyTorch的Dataset：torchtext.datasets.IMDB#pipinstalltorchdatatorchtext#版本号需要与PyTorch对齐fromtorchtext.datasetsimportIMDBIMDB文本分类，自定义网络：im 查看详情
基于pytorch的yolo稀疏训练与模型剪枝
基于pytorch的yolo稀疏训练与模型剪枝数据集+代码下载地址：下载地址参数数量模型体积Flops前向推断耗时（2070TI）mAPBaseline(416)61.5M246.4MB32.8B15.0ms0.7692Prune(416)10.9M43.6MB9.6B7.7ms0.7722Finetune(416)同上同上同上同上0.7750加入稀疏正 查看详情
pytorch笔记-imdb数据集文本分类项目模型与训练(代码片段)
IMDB数据集：Kaggle下载地址，影评的积极或消极分类的影评PyTorch:1.11.0，相对应：pipinstalltorchtext==0.12.0torchdata==0.3.0PyTorch的Dataset：torchtext.datasets.IMDB#pipinstalltorch 查看详情
用pytorch训练分类模型(代码片段)
本次分类问题使用的数据集是MNIST，每个图像的大小为(28*28)。编写代码的步骤如下载入数据集，分别为训练集和测试集让数据集可以迭代定义模型，定义损失函数，训练模型代码importtorchimporttorch.nnasnnimporttorchvision.transformsastransfo... 查看详情
垃圾分类数据集+垃圾分类识别训练代码(pytorch)(代码片段)
垃圾分类数据集+垃圾分类识别训练代码(Pytorch)目录垃圾分类数据集+垃圾分类识别训练代码(Pytorch)1.前言2.垃圾数据集说明（1）垃圾数据集dataset1（2）垃圾数据集dataset23.垃圾分类识别模型训练（1）项... 查看详情
pytorch实例2——文本情绪分类器(代码片段)
实例主要用于熟悉相关模型，并且练习创建一个模型的步骤：数据收集、数据预处理、构建模型、训练模型、测试模型、观察模型表现、保存模型传送门：蓝桥云课实验目录1.实验环境2.实验目的3.相关原理4.实验步骤4... 查看详情
基于resnet训练flower图像分类模型（p31-p37）(代码片段)
概述 本文属于跟着b站学习pytorch笔记系列。网上很多大佬关于renet模型图像识别的分类文章很多，但是图像部分通常就是一笔带过，给个链接。还是看了知乎的文章从头准备了数据集。一数据集准备该数据集由102类产... 查看详情