关键词：
今天继续学习《动手学习深度学习》第7章：现代卷积神经网络、第8章：循环神经网络，今天学到的内容主要有这两章的概念。
一、理论部分：
1、LeNet和AlexNet的网络结构
LeNet的激活函数是Sigmoid，AlexNet的激活函数是ReLU。
2、AlexNet和VGG的网络结构
3、Inception组成和GoogLeNet的网络结构
Inception模块组成，相当于用各种滤波器尺寸探索图像，不同大小的滤波器可以有效地识别不同范围的图像细节。
GoogLeNet的网络结构，全局平均汇聚层(global average pooling)避免了在最后使用全连接层。
4、Batch Normalization 批归一化
BN的具体操作是对一批数据进行归一化，使得这批数据均值为0、方差为1。BN通常位于卷积层或者全连接层之后、激活函数之前。
BN是为了解决内部协变量偏移(internal covariate shift)提出的，该问题指神经网络中每层的输入的分布随训练的过程而改变，使得网络难以学习、收敛、性能恶化。此外，BN在训练过程中向网络注入了噪声，使得网络更加鲁棒，起到了类似正则化的作用。
5、ResNet 残差网络
思想：每个附加层都应该更容易地包含原始函数作为其元素之一。说人话：加了附加层之后，最次也就是不产生效用，模型能拟合的函数与不添加这层是一样的，但凡这个附加层起了点作用，模型的拟合能力就会变好。这样，神经网络就可以继续加深了。
正常块与残差块的结构对比如下图。
ResNet-18结构如下：
6、DenseNet 稠密网络
在跨层连接上，不同于ResNet中将输入与输出相加，稠密连接网络（DenseNet）在通道维上连结输入与输出。然后通过添加过渡层来控制网络的维数，从而再次减少通道的数量。
ResNet和DenseNet在跨层连接的区别，前者是相加，后者是在通道维度上连接。
7、RNN(Recurrent) 循环神经网络
相比于卷积神经网络可以有效地处理空间信息，循环神经网络可以更好地处理序列信息。RNN通过引入状态变量存储过去的信息和当前的输入，从而可以确定当前的输出。
二、模块和函数
1、pytorch 模块
nn.AdaptiveAvgPool2d
自适应池化层，函数通过输入原始尺寸和目标尺寸，自适应地计算核的大小和每次移动的步长。示例：
点击查看代码
x = torch.randn(1, 64, 32, 32)
adaptive_avgpool = nn.AdaptiveAvgPool2d((7, 7))
y = adaptive_avgpool(x)
深度强化学习动手，第 7 章。无法让 tensorflow 工作
】深度强化学习动手，第7章。无法让tensorflow工作【英文标题】：DeepReinforcementLearningHandson,chapter7.Can\'tgettensorflowtowork【发布时间】：2020-04-1804:01:07【问题描述】：正在学习机器学习课程，但无法让Tensorboard工作。我已经从运行DQN... 查看详情
动手学深度学习diveintodeeplearning--day01--学习资料环境配置
正式开始《动手学深度学习v2-从零开始介绍深度学习算法和代码实现》的学习惊诧于李沐老师2021年的视频里就已经提到DALL·E2、ChatGPT等相关的内容了闲话休叙，先贴一下学习资料链接：课程主页：OpenLearningCamp-《动手学深度学习... 查看详情
你期待已久的《动手学深度学习》（pytorch版）来啦！
《动手学深度学习》全新PyTorch版本，李沐和亚马逊科学家阿斯顿·张等大咖作者强强联合之作，机器学习、深度学习领域重磅教程，交互式实战环境，配套资源丰富！面向中文读者的能运行、可讨论的深度学... 查看详情
《动手学深度学习》(pytorch版)(代码片段)
《动手学深度学习》PyTorch版前言简介面向人群食用方法方法一方法二方法三目录原书地址引用阅读指南前言读书啦！！！本项目将《动手学深度学习》原书中MXNet代码实现改为PyTorch实现。原书作者：阿斯顿·张、... 查看详情
《动手学深度学习》小记
一、随着书上的步骤安装环境，第一个需要解决的问题是如何配合该书利用jupyter：在下载好的gluon_tutorials_zh-1.0文件夹处启动命令窗口（1.shift+右键+从此处打开命令行窗口2.进入该文件夹，在文件路径处输入cmd可达到同样的效果... 查看详情
跟李沐导师：动手学深度学习！
...划，内容：深度学习入门二月学习需求收集李沐动手学深度学习热度排名第二。根据读者的学习建议，Datawhale团队联系了李沐老师，将组织动手学深度学习课程的学习。关于动手学深度学习《动手学深度学习》这... 查看详情
《动手学深度学习》自动求梯度(代码片段)
《动手学深度学习》自动求梯度概念Tensor梯度在深度学习中，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。本节将介绍如何使用autog... 查看详情
李沐《动手学深度学习》第二版pytorch笔记1环境搭建(代码片段)
李沐《动手学深度学习》第二版pytorch笔记1搭建环境文章目录李沐《动手学深度学习》第二版pytorch笔记1搭建环境此时尚有耐心虚拟环境搭建创建虚拟环境查看已有的虚拟环境激活虚拟环境安装深度学习框架和d2l软件包安装d2l安... 查看详情
对比《动手学深度学习》pdf代码+《神经网络与深度学习》pdf
随着AlphaGo与李世石大战的落幕，人工智能成为话题焦点。AlphaGo背后的工作原理"深度学习"也跳入大众的视野。什么是深度学习，什么是神经网络，为何一段程序在精密的围棋大赛中可以大获全胜？人工智终将会取代人类智慧吗... 查看详情
动手学深度学习(代码片段)
一预备知识（书中是MXNet中的NDArray类，电子中用的是Pytorch版）1.Tensor创建long型3*3的全为0的Tensor：import torch；x=torch.zeros(3,3,dtype=torch.long)view()可以改变Tensor的形状，eg:view(-1,4 查看详情
《动手学深度学习》pytorch:数据操作(代码片段)
PyTorch:数据操作创建`Tensor`Tensor操作算术操作索引改变形状线性代数2.2.3广播机制2.2.4运算的内存开销2.2.5`Tensor`和NumPy相互转换`Tensor`转NumPyNumPy数组转`Tensor`2.2.6`Tensor`onGPU在深度学习中，我们通常... 查看详情
动手学深度学习v2课程笔记—深度学习基础(代码片段)
参考文章与视频：一、深度学习介绍1.AI地图：符号学—>统计—>机器学习2.应用：广告点击的案例广告排名的三个步骤：（这个和听过的一个讲座一样：社会计算+广告学）触发广告每个广告的点... 查看详情
自动求导动手学深度学习pytorch(代码片段)
例子：importtorchx=torch.arange(4.0)xtensor([0.,1.,2.,3.])x.requires_grad_(True)#x=torch.arange(4.0,requires_grad=True)x.grady=2*torch.dot(x,x)ytensor(28.,grad_fn=<MulBackwa 查看详情
bert预训练动手学深度学习v2
1.BERT预训练Transformer编码器2.BERT代码3.BERT预训练数据代码4.BERT预训练代码5.Q&A参考https://www.bilibili.com/video/BV1yU4y1E7Ns/?spm_id_from=autoNext 查看详情
分享《动手学深度学习(李沐等著)》pdf+源代码+《神经网络与深度学习(吴岸城)著》pdf
...kXHF2Zh94w更多资料：https://pan.baidu.com/s/1g4hv05UZ_w92uh9NNNkCaA《动手学深度学习(李沐等著)》中文PDF，530页，带书签目录，文字可以复制粘贴。配套源代码。《神经网络与深度学习(吴岸城)著》中文PDF，233页，带书签目录。如图： 查看详情
送李沐的《动手学深度学习》
Datawhale学习 邀约：学习建议/成长经历，文末送李沐书籍留言你在Datawhale的学习成长经历/你这次的学习迷茫/入门学习建议留言并点赞数前十的读者以及最用心的三位可获得李沐的《动手学深度学习》一本 查看详情
《动手学深度学习》深度学习简介（完整版）
《动手学深度学习》PyTorch版深度学习简介起源发展成功案例特点小结练习参考文献深度学习简介你可能已经接触过编程，并开发过一两款程序。同时你可能读过关于深度学习或者机器学习的铺天盖地的报道，尽管很多时... 查看详情
《动手学深度学习》环境配置（pytorch版）(代码片段)
环境配置（PyTorch版）1环境配置1.1Anaconda1.2Jupyter1.3PyTorch1.4其他2.PyTorch最新安装教程1环境配置本节简单介绍一些必要的软件的安装与配置，由于不同机器软硬件配置不同，所以不详述，遇到问题请善用Google。1.1A... 查看详情