关键词：
转载自： 机器之心掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。
近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN，文章向我们介绍了在使用 PyTorch 训练深度模型时最省力、最有效的 17 种方法。
该文所提方法，都是假设你在 GPU 环境下训练模型。具体内容如下。
17 种加速 PyTorch 训练的方法
1. 考虑换一种学习率 schedule
学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates 》中提出了周期性（Cyclical）学习率以及 1Cycle 学习率 schedule。之后，fast.ai 的 Jeremy Howard 和 Sylvain Gugger 对其进行了推广。下图是 1Cycle 学习率 schedule 的图示：
Sylvain 写到：1Cycle 包括两个等长的步幅，一个步幅是从较低的学习率到较高的学习率，另一个是回到最低水平。最大值来自学习率查找器选取的值，较小的值可以低十倍。然后，这个周期的长度应该略小于总的 epochs 数，并且，在训练的最后阶段，我们应该允许学习率比最小值小几个数量级。
与传统的学习率 schedule 相比，在最好的情况下，该 schedule 实现了巨大的加速（Smith 称之为超级收敛）。例如，使用 1Cycle 策略在 ImageNet 数据集上训练 ResNet-56，训练迭代次数减少为原来的 1/10，但模型性能仍能比肩原论文中的水平。在常见的体系架构和优化器中，这种 schedule 似乎表现得很好。
Pytorch 已经实现了这两种方法：「torch.optim.lr_scheduler.CyclicLR」和「torch.optim.lr_scheduler.OneCycleLR」。
参考文档：https://pytorch.org/docs/stable/optim.html
2. 在 DataLoader 中使用多个 worker 和页锁定内存
当使用 torch.utils.data.DataLoader 时，设置 num_workers > 0，而不是默认值 0，同时设置 pin_memory=True，而不是默认值 False。
参考文档：https://pytorch.org/docs/stable/data.html
来自 NVIDIA 的高级 CUDA 深度学习算法软件工程师 Szymon Micacz 就曾使用四个 worker 和页锁定内存（pinned memory）在单个 epoch 中实现了 2 倍的加速。人们选择 worker 数量的经验法则是将其设置为可用 GPU 数量的四倍，大于或小于这个数都会降低训练速度。请注意，增加 num_workers 将增加 CPU 内存消耗。
3. 把 batch 调到最大
把 batch 调到最大是一个颇有争议的观点。一般来说，如果在 GPU 内存允许的范围内将 batch 调到最大，你的训练速度会更快。但是，你也必须调整其他超参数，比如学习率。一个比较好用的经验是，batch 大小加倍时，学习率也要加倍。
OpenAI 的论文《An Empirical Model of Large-Batch Training》很好地论证了不同的 batch 大小需要多少步才能收敛。在《How to get 4x speedup and better generalization using the right batch size》一文中，作者 Daniel Huynh 使用不同的 batch 大小进行了一些实验（也使用上面讨论的 1Cycle 策略）。最终，他将 batch 大小由 64 增加到 512，实现了 4 倍的加速。
然而，使用大 batch 的不足是，这可能导致解决方案的泛化能力比使用小 batch 的差。
4. 使用自动混合精度（AMP）
PyTorch 1.6 版本包括对 PyTorch 的自动混合精度训练的本地实现。这里想说的是，与单精度 (FP32) 相比，某些运算在半精度 (FP16) 下运行更快，而不会损失准确率。AMP 会自动决定应该以哪种精度执行哪种运算。这样既可以加快训练速度，又可以减少内存占用。
在最好的情况下，AMP 的使用情况如下：
import torch
# Creates once at the beginning of training
scaler = torch.cuda.amp.GradScaler()
for data, label in data_iter:
optimizer.zero_grad()
# Casts operations to mixed precision
with torch.cuda.amp.autocast():
loss = model(data)
# Scales the loss, and calls backward()
# to create scaled gradients
scaler.scale(loss).backward()
# Unscales gradients and calls
# or skips optimizer.step()
scaler.step(optimizer)
# Updates the scale for next iteration
scaler.update()5. 考虑使用另一种优化器
AdamW 是由 fast.ai 推广的一种具有权重衰减（而不是 L2 正则化）的 Adam，在 PyTorch 中以 torch.optim.AdamW 实现。AdamW 似乎在误差和训练时间上都一直优于 Adam。
Adam 和 AdamW 都能与上面提到的 1Cycle 策略很好地搭配。
目前，还有一些非本地优化器也引起了很大的关注，最突出的是 LARS 和 LAMB。NVIDA 的 APEX 实现了一些常见优化器的融合版本，比如 Adam。与 PyTorch 中的 Adam 实现相比，这种实现避免了与 GPU 内存之间的多次传递，速度提高了 5%。
6. cudNN 基准
如果你的模型架构保持不变、输入大小保持不变，设置 torch.backends.cudnn.benchmark = True。
7. 小心 CPU 和 GPU 之间频繁的数据传输
当频繁地使用 tensor.cpu() 将张量从 GPU 转到 CPU（或使用 tensor.cuda() 将张量从 CPU 转到 GPU）时，代价是非常昂贵的。item() 和 .numpy() 也是一样可以使用. detach() 代替。
如果你创建了一个新的张量，可以使用关键字参数 device=torch.device('cuda:0') 将其分配给 GPU。
如果你需要传输数据，可以使用. to(non_blocking=True)，只要在传输之后没有同步点。
8. 使用梯度 / 激活 checkpointing
Checkpointing 的工作原理是用计算换内存，并不存储整个计算图的所有中间激活用于 backward pass，而是重新计算这些激活。我们可以将其应用于模型的任何部分。
具体来说，在 forward pass 中，function 会以 torch.no_grad() 方式运行，不存储中间激活。相反的是， forward pass 中会保存输入元组以及 function 参数。在 backward pass 中，输入和 function 会被检索，并再次在 function 上计算 forward pass。然后跟踪中间激活，使用这些激活值计算梯度。
因此，虽然这可能会略微增加给定 batch 大小的运行时间，但会显著减少内存占用。这反过来又将允许进一步增加所使用的 batch 大小，从而提高 GPU 的利用率。
尽管 checkpointing 以 torch.utils.checkpoint 方式实现，但仍需要一些思考和努力来正确地实现。Priya Goyal 写了一个很好的教程来介绍 checkpointing 关键方面。
Priya Goyal 教程地址：
https://github.com/prigoyal/pytorch_memonger/blob/master/tutorial/Checkpointing_for_PyTorch_models.ipynb
9. 使用梯度积累
增加 batch 大小的另一种方法是在调用 optimizer.step() 之前在多个. backward() 传递中累积梯度。
Hugging Face 的 Thomas Wolf 的文章《Training Neural Nets on Larger Batches: Practical Tips for 1-GPU, Multi-GPU & Distributed setups》介绍了如何使用梯度累积。梯度累积可以通过如下方式实现：
model.zero_grad() # Reset gradients tensors
for i, (inputs, labels) in enumerate(training_set):
predictions = model(inputs) # Forward pass
loss = loss_function(predictions, labels) # Compute loss function
loss = loss / accumulation_steps # Normalize our loss (if averaged)
loss.backward() # Backward pass
if (i+1) % accumulation_steps == 0: # Wait for several backward steps
optimizer.step() # Now we can do an optimizer step
model.zero_grad() # Reset gradients tensors
if (i+1) % evaluation_steps == 0: # Evaluate the model when we...
evaluate_model() # ...have no gradients accumulate这个方法主要是为了规避 GPU 内存的限制而开发的。
10. 使用分布式数据并行进行多 GPU 训练
加速分布式训练可能有很多方法，但是简单的方法是使用 torch.nn.DistributedDataParallel 而不是 torch.nn.DataParallel。这样一来，每个 GPU 将由一个专用的 CPU 核心驱动，避免了 DataParallel 的 GIL 问题。
分布式训练文档地址：https://pytorch.org/tutorials/beginner/dist_overview.html
11. 设置梯度为 None 而不是 0
梯度设置为. zero_grad(set_to_none=True) 而不是 .zero_grad()。这样做可以让内存分配器处理梯度，而不是将它们设置为 0。正如文档中所说，将梯度设置为 None 会产生适度的加速，但不要期待奇迹出现。注意，这样做也有缺点，详细信息请查看文档。
文档地址：https://pytorch.org/docs/stable/optim.html
12. 使用. as_tensor() 而不是. tensor()
torch.tensor() 总是会复制数据。如果你要转换一个 numpy 数组，使用 torch.as_tensor() 或 torch.from_numpy() 来避免复制数据。
13. 必要时打开调试工具
PyTorch 提供了很多调试工具，例如 autograd.profiler、autograd.grad_check、autograd.anomaly_detection。请确保当你需要调试时再打开调试器，不需要时要及时关掉，因为调试器会降低你的训练速度。
14. 使用梯度裁剪
关于避免 RNN 中的梯度爆炸的问题，已经有一些实验和理论证实，梯度裁剪（gradient = min(gradient, threshold)）可以加速收敛。HuggingFace 的 Transformer 实现就是一个非常清晰的例子，说明了如何使用梯度裁剪。本文中提到的其他一些方法，如 AMP 也可以用。
在 PyTorch 中可以使用 torch.nn.utils.clip_grad_norm_来实现。
15. 在 BatchNorm 之前关闭 bias
在开始 BatchNormalization 层之前关闭 bias 层。对于一个 2-D 卷积层，可以将 bias 关键字设置为 False：torch.nn.Conv2d(..., bias=False, ...)。
16. 在验证期间关闭梯度计算
在验证期间关闭梯度计算，设置：torch.no_grad() 。
17. 使用输入和 batch 归一化
要再三检查一下输入是否归一化？是否使用了 batch 归一化？
原文链接：https://efficientdl.com/faster-deep-learning-in-pytorch-a-guide/
5.使用pytorch预先训练的模型执行目标检测(代码片段)
5.使用PyTorch预先训练的网络执行目标检测这篇博客将介绍如何使用PyTorch预训练的网络执行目标检测，这些网络是开创性的、最先进的图像分类网络，包括使用ResNet的更快R-CNN、使用MobileNet的更快R-CNN和RetinaNet。具有ResNet50... 查看详情
pytorch实现tpu版本cnn模型(代码片段)
...时间的问题，我们使用TPU运行时环境来加速训练。为此，PyTorch一直在通过提供最先进的硬件加速器 查看详情
更快更pythonic的pytorch2.0|非常值得期待
文章目录一、前言二、PyTorch2.x：更快、更Pythonic！三、技术概述四、常见问答（FAQs）CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言PyTorch官方：原本是1.14来着，但我们这次的新特性太好用了，所以就直接叫2.0了。现在，只需添加... 查看详情
更快更pythonic的pytorch2.0|非常值得期待
文章目录一、前言二、PyTorch2.x：更快、更Pythonic！三、技术概述四、常见问答（FAQs）CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言PyTorch官方：原本是1.14来着，但我们这次的新特性太好用了，所以就直接叫2.0了。现在，只需添加... 查看详情
当代研究生应当掌握的5种pytorch并行训练方法（单机多卡）(代码片段)
...学生啦（我真是个小机灵鬼）!01Take-Away笔者使用PyTorch编写了不同加速库在ImageNet上的使用示例（单机多卡），需要的同学可以当作quickstart将需要的部分copy到自己的项目中（Github请点击下面链接）：... 查看详情
torchline：让pytorch使用的更加顺滑(代码片段)
...ne地址：https://github.com/marsggbo/torchline相信大家平时在使用Pytorch搭建网络时，多少还是会觉得繁琐，因为我们需要搭建数据读取，模型，训练，checkpoints保存等等一系列模块。每当切换到新的任务后很多情况下之前的代码不能复用... 查看详情
如何让 Eclipse IDE 构建速度更快
】如何让EclipseIDE构建速度更快【英文标题】：HowtomaketheeclipseIDEtobuildfaster【发布时间】：2010-05-2107:15:03【问题描述】：我正在使用Eclipse进行开发。但是，它需要花费太多时间来构建。当构建百分比达到78时，它会挂起。它多次显... 查看详情
pytorch预训练(代码片段)
前言最近使用PyTorch感觉妙不可言，有种当初使用Keras的快感，而且速度还不慢。各种设计直接简洁，方便研究，比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练，主要是自己写代码的经验以及论坛PyT... 查看详情
深度学习之30分钟快速入门pytorch（附学习资源推荐）(代码片段)
目录1、Pytorch简介1.0如何使用本教程1.1PyTorch由来1.2Torch简介1.3重新认识PyTorch1.4PyTorch和Tensorflow的对比1.5总结2、Pytorch环境搭建2.1安装Pytorch2.2配置JupyterNotebook2.3测试3、张量4、自动求导5、神经网络6、用cifar10训练一个分类器7、数据... 查看详情
nvidiadeeplearningexamples仓库上线飞桨resnet50模型，其训练速度超pytorch
你还在头疼于经典模型的复现吗？不知何处可以得到全面可参照的Benchmark？为了让开发者可以快速复现顶尖的精度和超高的性能，NVIDIA与飞桨团队合作开发了基于ResNet50的模型示例，并将持续开发更多的基于NLP和CV... 查看详情
17.老板让我手动控制网页渲染速度，说这能反爬虫？我信了。(代码片段)
手动数据延迟加载，真的可以反爬虫爬虫训练场项目，加速更新中，专栏清单参考pachong.vip本次案例需要的代码量特别小，所以咱们再Nginx中也进行一下相关配置文章目录页面逻辑实现接口逻辑实现延迟实现，t... 查看详情
17.老板让我手动控制网页渲染速度，说这能反爬虫？我信了。(代码片段)
手动数据延迟加载，真的可以反爬虫爬虫训练场项目，加速更新中，专栏清单参考pachong.vip本次案例需要的代码量特别小，所以咱们再Nginx中也进行一下相关配置文章目录页面逻辑实现接口逻辑实现延迟实现，t... 查看详情
pytorch预训练模型的下载地址以及解决下载速度慢的方法(代码片段)
https://github.com/pytorch/vision/tree/master/torchvision/models几乎所有的常用预训练模型都在这里面总结下各种模型的下载地址：1Resnet:23model_urls=4‘resnet18‘:‘https://download.pytorch.org/models/resnet18-5c106cde.pth‘,5‘resnet34‘: 查看详情
pytorch1.0中文官方教程：使用amazonaws进行分布式训练(代码片段)
...示如何使用AmazonAWS的两个多路GPU节点来设置，编写和运行PyTorch1.0分布式训练程序。首先我们会介绍AWS设置,然后是PyTorch环境配置,最后是分布式训练的代码。你会发现想改成分布式应用你只需要对你目前写的训练程序做很少的代... 查看详情
pytorch预训练(代码片段)
前言最近使用PyTorch感觉妙不可言，有种当初使用Keras的快感，而且速度还不慢。各种设计直接简洁，方便研究，比tensorflow的臃肿好多了。今天让我们来谈谈PyTorch的预训练，主要是自己写代码的经验以及论坛PyT... 查看详情
pytorch层顺序会影响结果吗
参考技术A会的。Tensorflow的通道顺序默认是NHWC（但可以设置成NCHW），NHWC的访存局部性更好（每三个输入像素即可得到一个输出像素），NCHW则必须等所有通道输入准备好才能得到最终输出结果，需要占用较大的临时空间。NCHW则... 查看详情
一个更快的yolov5问世，附送全面中文解析教程
...commit为：48a85314bc80d8023c99bfb114cea98d71dd0591）。相比PyTorch，目前YOLOv5在OneFlow上进行小batch训练时有5%-10%的性能优势，而训练大batch的性能与PyTorch持平。需要说明的是，本次发布的OneFlow后端的One-YOLOv5只是一个基础... 查看详情
这6种编码方法，你掌握了几个？(代码片段)
...似的代码时，我们需要考虑是否有一种方法能够提高编码速度，让编码速度“起飞”？高德地图技术专家陈昌毅（常意）多年来致力于敏捷开发，总结了一套编码的方法论，有助于程序员"快速、优质、高效"地进行编码。... 查看详情