关键词：
最近在给新徒弟讲授预训练模型的过程中，发现了初学者的几个误区，分别是：
- 在整个学习过程中，重理论轻代码，忽略了将论文和代码进行对齐，而由于代码中往往包括了一些论文中不曾讲到的细节，所以也未曾达到全面细致的理解。
- 在学习代码过程中，重阅读轻调试，在遇到代码中无法理解的点时束手无策，而导致遗留了很多无法理解的难点。
- 在阅读代码过程中，重模型轻数据，过于注重深度学习模型，却忽略了数据的建模和加工，以BERT模型为例，忽略了预训练数据的创建过程。
对于以上问题，针对性的解决方案分别是：
- 代码要与论文对齐(code align to paper)，具体来说就是先找到两者一致的内容，然后将论文中不存在或者不一致的点也逐一列举出来，并思考它的作用。
bert源码深度剖析之create_pretraining_data.py
...家先阅读专栏的第一篇文章：预训练模型代码深度剖析之开宗明义：新学常见误区和正确的学习姿势。#mermaid-svg-090UkYzm2qbEIMEifont-family:"trebuchetms",verdana,arial,sans-serif;font-size:16px;fill:#333;#mermaid-svg-090UkYzm2qbEIMEi.error-iconfill:#552222;#mermai... 查看详情
bert源码深度剖析之create_pretraining_data.py
...家先阅读专栏的第一篇文章：预训练模型代码深度剖析之开宗明义：新学常见误区和正确的学习姿势。#mermaid-svg-090UkYzm2qbEIMEifont-family:"trebuchetms",verdana,arial,sans-serif;font-size:16px;fill:#333;#mermaid-svg-090UkYzm2qbEIMEi.error-iconfill:#552222;#mermai... 查看详情
深度学习基本功2：网络训练小技巧之使用预训练权重冻结训练和断点恢复(代码片段)
本篇博客将介绍神经网络训练过程中的三个必备技能：使用预训练权重、冻结训练和断点恢复，巧妙运用这三个技巧可以很有效地提高网络的训练效率和效果。文章目录一、引言二、使用预训练权重三、冻结训练四、断... 查看详情
[深度学习][预训练模型]darknet-yolov7预训练模型下载地址(代码片段)
OfficialYOLOv7:Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectorspaper: https://arxiv.org/abs/2207.02696sourcecode-Pytorch(usetoreproduceresults): https://github.com/WongKinYiu 查看详情
nlp经典模型复现之开宗明义(代码片段)
文章目录1.为什么要写这个专栏2.专栏的主要内容3.阅读论文的正确姿势1.为什么要写这个专栏 大家好，我是herosunly，从985院校硕士毕业，现担任算法研究员一职。CSDN博客专家，2020年博客之星TOP。曾获得阿里云... 查看详情
[深度学习][预训练模型]darknet-yolov7预训练模型下载地址(代码片段)
转载自：https://www.pudn.com/news/631d4f50f0cde61357409e8f.htmlOfficialYOLOv7:Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectorspaper: https://arxiv.org/abs/2207.02696source 查看详情
[深度学习][预训练模型]darknet-yolov7预训练模型下载地址(代码片段)
转载自：https://www.pudn.com/news/631d4f50f0cde61357409e8f.htmlOfficialYOLOv7:Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectorspaper: https://arxiv.org/abs/2207.02696source 查看详情
如何构建深度学习预训练模型？
keras提供多种预训练的深度学习模型，可供迁移学习使用。如果我想要根据自己的数据集与训练模型，如何让去构建一个预训练模型用于后续的迁移学习？参考技术A可以直接先找到自己需要的训练模型，一般来说都可以找到的 查看详情
dl：深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码(代码片段)
DL：深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码目录深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码深度学习模型优化之模型训练技巧总结之适时自动调整学习率实现代码defsc... 查看详情
为啥预训练的深度学习模型的性能会下降？
】为啥预训练的深度学习模型的性能会下降？【英文标题】：Whyisthereadecreaseintheperformanceofpre-trainedDeepLearningmodels?为什么预训练的深度学习模型的性能会下降？【发布时间】：2017-10-0223:13:28【问题描述】：使用来自Keras的模型和权... 查看详情
针对新数据点更新预训练的深度学习模型
】针对新数据点更新预训练的深度学习模型【英文标题】：Updatingpre-trainedDeepLearningmodelwithrespecttonewdatapoints【发布时间】：2019-05-0613:51:54【问题描述】：以ImageNet上的图像分类为例，如何使用新数据点更新预训练模型。我已经加... 查看详情
「深度学习一遍过」必修28：基于c3d预训练模型训练自己的视频分类数据集的设计与实现(代码片段)
...修篇 目录1DownLoadorClone 2数据集准备3代码调试3.1下载预训练模型3.2 配置数据集和预训练模型路径3.3修改label.txt文件3.4运行 查看详情
「深度学习一遍过」必修28：基于c3d预训练模型训练自己的视频分类数据集的设计与实现(代码片段)
...修篇 目录1DownLoadorClone 2数据集准备3代码调试3.1下载预训练模型3.2 配置数据集和预训练模型路径3.3修改label.txt文件3.4运行 查看详情
bert：深度双向预训练语言模型
...04805BERT（BidirectionalEncoderRepresentationsfromTransformers）通过预训练来学习无标注数据中的深度双向表示，预训练结束后通过添加一个额外的输出层进行微调，最终在多个NLP任务上实现了SOTA。预训练语言模型在实践中证明对提高很多... 查看详情
减少用于特征生成的预训练深度学习模型的大小
】减少用于特征生成的预训练深度学习模型的大小【英文标题】：reducesizeofpretraineddeeplearningmodelforfeaturegeneration【发布时间】：2017-07-2306:35:36【问题描述】：我在Keras中使用预训练模型为一组图像生成特征：model=InceptionV3(weights=\'i... 查看详情
《自然语言处理实战入门》深度学习----预训练模型的使用（albert进行多标签文本分类与微调finetune）(代码片段)
...建关键点数据预处理模型微调、评估、预测keras模型结构训练微调模型保存与再次载入模型预测参考文献如何使用预训练模型进行文本分类以及下游任务的微调呢？其实挺简单的，CPU+大内存（16G及以上）也能跑，我们来大致探索... 查看详情
[pytorch系列-42]：工具集-torchvision常见预训练模型的下载地址(代码片段)
...骤1：torchvision概述步骤2：如何获取框架提供的预训练模型步骤3： 查看详情
《自然语言处理实战入门》深度学习----预训练模型的使用（albert）
...务。albert的使用参考文献简介bert回顾bert两阶段模式：预训练+微调BERT的总体预训练和微调程序。除了输出层，在预训练和微调中都使用相同的体系结构。相同的预训练模型参数用于初始化不同下游任务的模型。 查看详情