关键词：
1. 重磅！PyTorch落地Linux基金会
扎克伯格亲自宣布，PyTorch基金会已新鲜成立，并归入Linux基金会旗下，管理委员会成员，包括Meta、AMD、AWS、谷歌云、微软和英伟达。Meta表示，PyTorch成功背后的驱动力，是开源社区充满活力的持续增长。成立基金会将确保社区成员以透明和公开的方式作出决定。
链接：https://mp.weixin.qq.com/s/832JBlOlJyMv8EPpFQVXQg；
https://www.reddit.com/r/MachineLearning/comments/xch39o/d_pytorch_is_moving_to_the_linux_foundation/
2. 深度学习十年后撞墙了？Hinton、LeCun、李飞飞不这么认为
10 年后，如今已经成为图灵奖得主的 Geoffrey Hinton、Yann LeCun，ImageNet 挑战赛的主要发起人与推动者李飞飞如何看待过去十年的 AI 技术突破？又对接下来十年的技术发展有什么判断？近日，海外媒体 VentureBeat 的一篇专访文章，让 AI 社区开始讨论起这些问题。
链接：https://mp.weixin.qq.com/s/ijsyATtxDBLgLaWLDdqRfg
3. TensorFlow 2.10上线：Windows上扩展GPU支持，TF-DF 1.0发布
新版本的亮点包括：Keras 中新的用户友好特性、Windows 中扩展 GPU 支持等等。此版本还标志着 TensorFlow 决策森林 (TF-DF) 1.0 版本的到来！
链接：https://mp.weixin.qq.com/s/UYg3-lTK9QwQou2knMP0Sw
4. 提速还能不掉点！深度解析MegEngine 4 bits量化开源实现
量化模型被广泛使用在推理侧，量化也成为了一个重要且非常活跃的研究领域。近期，MegEngine开源了4 bits的量化的相关内容，通过MegEngine 4 bits量化实现的ResNet-50模型在 ImageNet 数据集上的精度表现与 8 bits 量化模型相差无几，并且速度是TensorRT-v7 8 bits ResNet-50模型的推理速度的1.3倍。
链接：https://zhuanlan.zhihu.com/p/565121111
5. 视频教程｜OneFlow源码解析（1）：分布式易用性
本视频介绍 OneFlow 如何通过发明的 SBP 及 placment 概念，简化分布式训练流程。从 SBP 的角度，可以更接近本质地理解数据并行、模型并行策略。
链接：
https://www.bilibili.com/video/BV1va411u7H7?spm_id_from=333.999.0.0
不同于传统的CPU和GPU架构，Groq从头设计了一个张量流处理器 (TSP) 架构， 以加速人工智能、机器学习和高性能计算中的复杂工作负载。这个架构不是开发小型可编程内核并对其进行数百次复制，而是容纳一个具有数百个功能单元的单个处理器。
链接：https://mp.weixin.qq.com/s/bmhFLsdgawgNQG_tSTP99A
7. SIMT、SIMD和DSA（1）
选DSA还是SIMT目前也是AI芯片最重要的架构选择问题，但选哪个都是一大堆具体概念和设计的集合。我们还是需要深入进去剖析两者好到底好在哪里。
链接：
https://zhuanlan.zhihu.com/p/562135333
8. GPU内存（显存）的理解与基本的使用
GPU显存的组成与CPU的内存架构类似，但为了满足并行化运算GPU的显存做了特殊设计，与之相关的概念很多如host memory、device memory、L1/L2 cache、register、texture、constant、shared memory、global memory等，还会涉及一些硬件概念DRAM、On/Off chip memory，还涉及到一些操作如pin memory，zero copy等。本文试图帮助了解这些显存相关的概念，包括一些特殊存储作用是什么，性能如何以及在CUDA中怎么用。
链接：
https://zhuanlan.zhihu.com/p/462191421
9. CUDA SGEMM矩阵乘法优化笔记：从入门到cublas
最近开始入门CUDA，初步了解GPU的工作原理后，选择了单精度矩阵乘法作为练习的kernel，尝试从最简单的SGEMM kernal开始，逐步优化到cublas的性能水平。
链接：
https://zhuanlan.zhihu.com/p/518857175
10. 如何利用TVM快速实现超越Numpy的GEMM
本文主要讲述如何利用TVM实现超越Numpy GEMM，有人在看了《How to optimize GEMM on CPU》以后说TVM还是没有超越Numpy的性能，是不是无法做到，于是作者写这篇文章来阐述我们如何在这个基础上做到超越。
链接：
https://zhuanlan.zhihu.com/p/75203171；
https://tvm.apache.org/docs/how_to/optimize_operators/opt_gemm.html
11. 一个tvm(te)实现的cutlass efficient gemm
这里记录的是从tvm的tensor expression出发，参考cutlass efficient gemm的思路，一步一步优化一下GEMM的一些思考，目的是为了理解cutlass优化gemm的思路。
链接：
https://zhuanlan.zhihu.com/p/560729749
12. 视频教程｜TVM 学习指南介绍（前端部分）
链接：https://mp.weixin.qq.com/s/rB8qYp_5WAOR-wOlW6svow
13. 扩散模型爆火，这是首篇综述与Github论文分类汇总
本综述（Diffusion Models: A Comprehensive Survey of Methods and Applications）首次对现有的扩散生成模型（diffusion model）进行了全面的总结分析，从 diffusion model 算法细化分类、和其他五大生成模型的关联以及在七大领域中的应用等方面展开，最后提出了 diffusion model 的现有 limitation 和未来的发展方向。
链接：https://mp.weixin.qq.com/s/GcL4_zgbWKDe4p53QFLzjw
14. Hugging Face：成为机器学习界的“Github”
五年前，AI领域的知名研究者Andrej Karpathy发文称，传统人工编程属于“软件1.0”，“软件2.0”时代将以神经网络来编程，在这个过渡过程中，将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸（Hugging Face）”有志于成为“软件2.0”时代的GitHub。在Hugging Face上，用户可以托管机器学习模型和数据集等，对它们进行共享、协作和评价，最后将它们投入生产应用，这种模式有点像Github上的托管和协作模式。
链接：https://mp.weixin.qq.com/s/_2DVu1_zZ2AM9QYnyWeUxg
其他人都在看
https://github.com/Oneflow-Inc/oneflow/深度学习综述（lecunbengio和hinton）
原文摘要：深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。这些方法在很多方面都带来了显著的改善，包含最先进的语音识别、视觉对象识别、对象检測和很多其他领域，比如药物发现和基... 查看详情
深度学习杂谈（调参损失函数trick正负样本...）
...ormanceofdeeplearningmodels.技术干货：损失函数技术总结及Pytorch使用示例｜深度学习有哪些trick？｜目标检测正负样本区分策略和平衡策略总结实操教程：GPU多卡并行训练总结（以pytorch为例）｜CUDAWarpRedu... 查看详情
（d2l-ai/d2l-zh）《动手学深度学习》pytorch笔记（序言pytorch的安装神经网络涉及符号）(代码片段)
开源项目地址：d2l-ai/d2l-zh教材官网：https://zh.d2l.ai/书介绍：https://zh-v2.d2l.ai/笔记基于2021年7月26日发布的版本，书及代码下载地址在github网页的最下面交流者论坛额外：https://distill.pub/文章目录序言（19... 查看详情
深度学习第一步——pytorch-gpu环境配置：win11/win10+cuda10.2+cudnn8.5.0+pytorch1.8.0(步步巨细，少走十年弯路）(代码片段)
...3;Anaconda通过这篇博客你将获得：Cuda10.2+cuDNN11.x+Pytorch1.8.0(GPU)importtorchprint(torch.cuda.is_available())print(torch.__version__)print(torch.version.cuda)True1.8.010.2目录1.确定自己电脑有无显卡2.确定显卡支持的cuda最高版本3.下载安装cuda4.安... 查看详情
小白学习之pytorch框架-动手学深度学习(begin)
在这向大家推荐一本书-花书-动手学深度学习pytorch版，原书用的深度学习框架是MXNet，这个框架经过Gluon重新再封装，使用风格非常接近pytorch，但是由于pytorch越来越火，个人又比较执着，想学pytorch，好，有个大神来了，把《动... 查看详情
手把手写深度学习——pytorch+rnn自动生成邓紫棋风格歌词
...是时候亮出我三十年邓紫棋歌迷的身份，用使用更广泛的Pytorch框架，搭建一个RNN模型，用来自动生成邓紫棋风格的歌词生成器。目录PytorchRNNAPI简介公式初始化参数 查看详情
手把手写深度学习——pytorch+rnn自动生成邓紫棋风格歌词
...是时候亮出我三十年邓紫棋歌迷的身份，用使用更广泛的Pytorch框架，搭建一个RNN模型，用来自动生成邓紫棋风格的歌词生成器。目录PytorchRNNAPI简介公式初始化参数 查看详情
重磅！pytorch落地linux基金会
...领域诞生了不少非常实用的平台和框架，如TensorFlow、PyTorch、Keras、Caffe、Theano、MXNet等等，其中从知名度上ÿ 查看详情
深度学习“深度学习”-概念篇(代码片段)
...和循环神经网络就被提出了；而许多现在的学术大牛，如Hinton，LeCun，Bengio也在那个时期初露锋芒。由于当时的数据量和算力不足的原因，神经网络不如SVM等简单的算法好用，但2006年左右，Hinton和Salakhutdinov发现多层前馈神经网... 查看详情
（d2l-ai/d2l-zh）《动手学深度学习》pytorch笔记线性神经网络（暂停）(代码片段)
...github网页的最下面交流者论坛额外：https://distill.pub/pytorch中文文档（哪个函数不明白用法 查看详情
深度学习方法（二十）：hinton组最新无监督学习方法simclr介绍，以及momentumcontrastive(moco)
...个比较类似的无监督representationlearning工作：SimCLR——Hinton组的工作，第一作者TingChenMoCov2——HeKaiming组的工作，第一作者XinleiChenSimCLR该研究一次就把无监督学习（学习后再用于分类等后续任务）的指标提升了7... 查看详情
对比学习:《深度学习之pytorch》《pytorch深度学习实战》+代码
PyTorch是一个基于Python的深度学习平台，该平台简单易用上手快，从计算机视觉、自然语言处理再到强化学习，PyTorch的功能强大，支持PyTorch的工具包有用于自然语言处理的AllenNLP，用于概率图模型的Pyro，扩展了PyTorch的功能。通... 查看详情
（d2l-ai/d2l-zh）《动手学深度学习》pytorch笔记前言（介绍各种机器学习问题）以及数据操作预备知识ⅲ（概率）(代码片段)
...github网页的最下面交流者论坛额外：https://distill.pub/pytorch中文文档（哪个函数不明白用法 查看详情
（d2l-ai/d2l-zh）《动手学深度学习》pytorch笔记前言（介绍各种机器学习问题）以及数据操作预备知识ⅰ(代码片段)
开源项目地址：d2l-ai/d2l-zh教材官网：https://zh.d2l.ai/书介绍：https://zh-v2.d2l.ai/笔记基于2021年7月26日发布的版本，书及代码下载地址在github网页的最下面交流者论坛额外：https://distill.pub/（d2l-ai/d2l-zh） 查看详情
（d2l-ai/d2l-zh）《动手学深度学习》pytorch笔记前言（介绍各种机器学习问题）以及数据操作预备知识ⅱ（线性代数微分自动求导）(代码片段)
...github网页的最下面交流者论坛额外：https://distill.pub/pytorch中文文档（哪个函数不明白用法 查看详情
[九]深度学习pytorch-transforms图像增强(剪裁翻转旋转)(代码片段)
0.往期内容[一]深度学习Pytorch-张量定义与张量创建[二]深度学习Pytorch-张量的操作：拼接、切分、索引和变换[三]深度学习Pytorch-张量数学运算[四]深度学习Pytorch-线性回归[五]深度学习Pytorch-计算图与动态图机制[六]深度学习Pyto... 查看详情
谷歌推出深度学习调优手册，不到一天狂揽1200星，hinton转发｜github
丰色Pine发自凹非寺量子位|公众号QbitAI各位炼丹er们，调参是你们最头疼的环节吗？现在，一份上线不到一天就狂揽1200+星的《深度学习调优手册》来了。△数字还在飞速上涨，估计马上就要登热榜了这可能是市... 查看详情
深度学习-pytorch框架实战系列
深度学习-PyTorch框架实战系列PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。2017年1月，由Facebook人工智能研究院（FAIR）基于Torch推出了PyTorch。它是一个基于Python的可续计算包，提供两个高级功能... 查看详情