关键词：
点击 机器学习算法与Python学习 ，选择加星标
精彩内容不迷路
机器之心报道
广受人们欢迎的深度学习框架 PyTorch 刚刚更新了 1.10 正式版，在 CUDA Graphs API 等方面进行了诸多改进。
PyTorch 是一个开源的 Python 机器学习库，基于 Torch，底层由 C++ 实现，主要应用于人工智能领域，如自然语言处理，它最初由 Facebook 的人工智能研究团队开发。由于 PyTorch 定义网络结构简单等特点，自发布以来便受到众多研究人的青睐。
经过研究者的不断努力，现在， PyTorch 更新到 PyTorch 1.10 版本。此版本由 1.9 版本以来的 3,400 多次 commits 组成，由 426 位贡献者完成。
此次PyTorch 1.10 的更新侧重于改进 PyTorch 的训练和性能以及开发人员的可用性。亮点包括以下：
集成了 CUDA Graphs API 以减少 CUDA 工作负载的 CPU 开销；
FX、torch.special 和 nn.ModuleParametrization 等几个前端 API 已从测试版变为稳定版；
除了 GPU 之外，JIT Compiler 中对自动融合的支持扩展到 CPU；
Android NNAPI 支持现已推出测试版。
（注：从 PyTorch 1.6 版本开始，PyTorch 特性分为 Stable（稳定版）、Beta（测试版）和 Prototype（原型版）。
PyTorch 1.10 最新特性
前端 API
使用 FX 进行 Python 代码转换（稳定版）：FX 提供了一个用于转换和降低 PyTorch 程序的 python 化平台，它是一个工具包，在 1.10 版本中，FX 趋于稳定，用户可以使用 torch.fx 实现程序转换。
torch.special（稳定版）：torch.special 模块，类似于 SciPy 的特殊模块，现在稳定版可用。该模块有 30 种运算，包括 gamma、Bessel 和（高斯）误差函数。
nn.Module 参数化（稳定版）：允许用户在不修改 nn.Module 本身的情况下参数化任何参数等，在稳定版中可用。此版本增加了权重归一化 (weight_norm)、正交参数化（矩阵约束和部分剪枝），用户在创建自己的参数化时更加灵活。
CUDA Graphs API 集成（测试版）：PyTorch 现在集成了 CUDA Graphs API 以减少 CUDA 工作负载的 CPU 开销。
CUDA Graphs 大大降低了 CPU 绑定 cuda（CPU-bound cuda）工作负载的 CPU 开销，从而通过提高 GPU 利用率来提高性能。对于分布式工作负载，CUDA Graphs 还可以减少抖动，并且由于并行工作负载必须等待最慢的工作负载，因此减少抖动可以提高整体并行效率。
分布式训练
在 1.10 版本中，有许多特性在分布式包中从测试版过渡到稳定版，具体包括：
Remote Module（稳定版）：此功能允许用户远程操作模块，就像使用本地模块一样，其中 RPC 对用户是透明的；
DDP Communication Hook（稳定版）：此功能允许用户覆盖 DDP 如何跨进程同步梯度；
ZeroRedundancyOptimizer（稳定版）：此功能可与 DistributedDataParallel 结合使用，以减少每个进程优化器状态的大小。
性能优化以及工具
（测试版）TorchScript 严格要求源代码具有类型注释才能成功编译。长期以来，用户只能通过反复试验来添加缺失或不正确的类型注解，效率低下，耗时长。现在，PyTorch 1.10 利用 MonkeyType 等现有工具为 torch.jit.script 启用了配置文件定向输入，这使得该过程变得更容易、更快和更高效。
（测试版）CPU 融合：PyTorch 1.10 为 CPU 添加了一个基于 LLVM 的 JIT 编译器，可以将 Torch 库调用序列融合在一起以提高性能。虽然此前的版本在 GPU 上拥有此功能已有一段时间了，但 1.10 版本是第一次将编译引入 CPU。
PyTorch Profiler
（测试版）PyTorch Profiler 的目标是针对时间或内存成本最高的执行步骤，并可视化 GPU 和 CPU 之间的工作负载分布。PyTorch 1.10 包括以下主要功能：
增强型内存视图：这有助于用户更好地了解内存使用；
增强型内核视图：附加列显示网格和块大小以及每个线程共享内存使用和寄存器的情况；
分布式训练：Gloo 现在支持分布式训练工作；
TensorCore：该工具显示 Tensor Core(TC) 的使用，并为数据科学家和框架开发人员提供建议；
NVTX：对 NVTX markers 的支持是从旧版 autograd profiler 移植过来的；
支持移动设备分析：PyTorch profiler 现在与 TorchScript 、移动后端能够更好的集成，支持移动工作负载的跟踪收集。
支持 Android NNAPI
去年，PyTorch 官方发布了对 Android Neural Networks API (NNAPI) 的原型支持。PyTorch1.10 版本增加了更多的操作，包括在加载时对形状的支持，以及在主机上运行模型进行测试的能力。
此外，迁移学习已经添加到对象检测示例中。
对于此次 PyTorch 的更新，网友也不仅赞叹：「PyTorch 团队的出色工作，融合和 profiler 工作，非常酷！」
关于 PyTorch1.10 版本的更新，更多信息请参考：
Github: https://github.com/pytorch/pytorch/releases/tag/v1.10.0
参考链接：
https://pytorch.org/blog/pytorch-1.10-released/
https://www.marktechpost.com/2021/10/21/pytorch-releases-version-1-10-with-updates-on-cuda-graphs-apis/
觉得不错，请点个在看呀pytorch正式版上线：android
...器之心广受人们欢迎的深度学习框架PyTorch刚刚更新了1.10正式版，在CUDAGraphsAPI等方面进行了诸多改进。PyTorch是一个开源的Python机器学习库，基于Torch，底层由C++实现，主要应用于人工智能领域，如自然语... 查看详情
pytorch正式版上线：android
...器之心广受人们欢迎的深度学习框架PyTorch刚刚更新了1.10正式版，在CUDAGraphsAPI等方面进行了诸多改进。PyTorch是一个开源的Python机器学习库，基于 查看详情
霹雳猿教程网站正式上线
经过几个月的努力，我的新站终于上线了 霹雳猿教程这个网站到时候主要发布一些IT学习教程供别人学习，主要包括HTML，JavaScript，JavaEE，ASP.NET等方面的教程，敬请各位关注，谢谢！网站里面的数据会在后面的日子里持续更... 查看详情
迷你音乐播放器v1.0正式上线!
迷你音乐播放器V1.0正式上线!功能: 1.随机播放切换开关 2.歌曲为服务器本地音乐 3.网上搜索功能暂不支持...看下图简单戳戳感受一下吧.. 快来一起分享吧~~~GitHub(戳我) 查看详情
国内首个会务数字管理系统——”容易会”正式上线
国内首个会务数字管理系统——”容易会”正式上线 2017年7月1日国内首个会务数字管理系统“容易会”正式上线。湖南容易会信息技术有限公司根据多年的会务管理经验，通过业务和技术层面的深度剖析，以及不断的更新迭... 查看详情
转载androidn完全不同以往的四个新特性
Google最近发布了Android的下一个版本，AndroidN的开发者预览版。此次预览版，可以让我们开发者在正式发布之前就测试代码，包括一些新的API，甚至于也可以提前反馈那些对于我们来说有些困扰的变化。这次的发布版本只酝酿了几... 查看详情
roxeapp先行版正式上线，限量开放白名单
9月10日，RoxeAPP先行版正式上线。RoxeAPP是基于Roxe生态打造的一款多资产智能移动支付应用，具有购物返现，好友转账、点赞、评论、借贷以及余额投资等功能。通过RoxeAPP，用户可随时随地使用法币、神秘卡、积分... 查看详情
roxeapp先行版正式上线，限量开放白名单
9月10日，RoxeAPP先行版正式上线。RoxeAPP是基于Roxe生态打造的一款多资产智能移动支付应用，具有购物返现，好友转账、点赞、评论、借贷以及余额投资等功能。通过RoxeAPP，用户可随时随地使用法币、神秘卡、积分... 查看详情
liveartmarket正式上线交易
这家数字P2P市场在限量发行前几日期间实现近500万美元的销售额，其中AmoakoBoafo与EdClark的作品卖出了6位数的价格待售艺术作品达到了1,000件，价值1.2亿美元纽约--(美国商业资讯)--LiveArt欣然宣布，公司面向公众推出由... 查看详情
前海云交易正式上线啦！！
云交易优势：国内颠覆性的交易模式投资门槛低——最低只需100元投资收益高——最高获得87%的收益投资周期短——最快一分钟简单易操作——新手一天内就能学会交易品种多——目前有各种国内知名红酒交易方式多——PC端和... 查看详情
全新wijmo5中文学习指南正式上线
650)this.width=650;"src="https://images2015.cnblogs.com/blog/978677/201706/978677-20170629142720571-235441150.jpg"width="621"height="345"/>Wijmo 是一款使用TypeScript编写的新一代JavaScript/HTML5控件集。它秉承触控优先的设 查看详情
腾讯会议应用市场正式上线，首批入驻超20款应用
6月30日，腾讯会议应用市场正式上线，面向企业和开发者开放亿级流量入口，通过应用入驻和帐号互通，真正做到“应用打开即用，成果随带随走”，为用户在会前、会中、会后提供更丰富的音视频互动协... 查看详情
2017相亲会网站wzzdn.com正式上线了
最近公司用了1个月写了一个相亲会的网站。还可以。希望能帮助单身的你找到TA!我在这等你http://www.wzzdn.com希望大家也给提个建议。免费的奥绝对不和XX合网，XX爱网那样糊弄人！ 查看详情
51cto博客2.0——移动版关注功能正式上线
喜大普奔，2018年3月5日下午8点30分移动版关注功能正式上线了>>>不知道关注功能是干嘛的？(敲黑板，敲黑板，看这里)对于作者>>>1、拥有属于自己的粉丝2、增加自身品牌影响力3、将文章以最快的速度推送给自己粉... 查看详情
horizonlifecyclemanagement服务正式上线
...在VMwareCloudonAWS公有云上的HorizonCloudService在2019年3月正式上线了。VMwareHorizonCloudServiceReleaseNotes-v1.9-March2019NewFeaturesforHorizon7Pods?AbilitytoautomaticallydeployaconfiguredHorizon7podintoyourVMwareCloudonAWSsoftware-defineddatacenter(SDDC).Thisfeaturewaspreviouslyintec... 查看详情
chia官方池协议正式上线!你需要知道的都在这了！
经过漫长的等待，Chia终于为所有农民正式上线官方池协议，只需将Chia的官方软件升级至1.2.0版本，农民们现在便可开始为新的池协议P盘。如何准备？所有想要使用最新的池协议加入耕种池的农民都需要将他们的Ch... 查看详情
roxeapp先行版正式上线，限量开放白名单
...C、邀友、转账、点赞、评论”等功能，更多功能将在正式版发布时开放。目前，RoxeAPP先行版仅对白名单用户开放，持有300个ROC的用户即可获得开白资格。成功下载、注册并加入白名单的用户，不仅可“免费获得... 查看详情
好漂亮！全新qqlinux3.0正式上线
转自：OSC开源社区腾讯正式宣布，QQLinux版3.0已在QQ官网上架，并表示此次大型的版本重构和更新，不仅实现了全新架构，同时还新增了许多符合Linux用户日常使用需求的特色功能。下载地址：https://im.qq.com/l... 查看详情