关键词：
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120915279
目录
第1章 卷积神经网络基础
1.1 卷积神经发展与进化史
AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。
https://blog.csdn.net/HiWangWenBing/article/details/1208353031.2 卷积神经网络的核心要素
1.3 卷积神经网络的描述方法
1.4 人工智能三巨头 + 华人圈名人
Yoshua Bengio、Yann LeCun、Geoffrey Hinton共同获得了2018年的图灵奖。
杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton），计算机学家、心理学家，被称为“神经网络之父”、“深度学习鼻祖”。Hinton是机器学习领域的加拿大首席学者，是加拿大高等研究院赞助的“神经计算和自适应感知”项目的领导者，是盖茨比计算神经科学中心的创始人，目前担任多伦多大学计算机科学系教授。2013年3月，谷歌收购 Hinton 的公司 DNNResearch 后，他便随即加入谷歌，直至目前一直在 Google Brain 中担任要职。
Yoshua Bengio是蒙特利尔大学（Université de Montréal）的终身教授，任教超过22年，是蒙特利尔大学机器学习研究所（MILA）的负责人，是CIFAR项目的负责人之一，负责神经计算和自适应感知器等方面，又是加拿大统计学习算法学会的主席，是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前，是AT&T贝尔实验室 & MIT的机器学习博士后。
Yann LeCun，担任Facebook首席人工智能科学家和纽约大学教授，1987年至1988年，Yann LeCun是多伦多大学Geoffrey Hinton实验室的博士后研究员。
第2章 ResNet网络概述
2.1 传统网络遇到的困境
2.2 ResNet网络概述
深度残差网络（Deep residual network, ResNet）的提出是CNN图像史上的又一件里程碑事件。
它由微软研究院的Kaiming He（何明凯）等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，在ILSVRC2015比赛中取得冠军, 取得了5项第一，并又一次刷新了CNN模型在ImageNet上的历史。
其在top5上的错误率仅为3.57%，在ImageNet比赛中，是首个准确率超过人眼的网络。
那么ResNet为什么会有如此优异的表现呢？
其实ResNet是解决了深度（20层以上）CNN模型难训练的问题。
2.3 ResNet网络的层数
而15年的ResNet多达152层，无论是VGG, 还是GgooLnet，这在网络深度上，与ResNet完全不是一个量级上。这里就有一个关键问题：ResNet是如何做到在增加网络深度的时候，同时能够克服深度网络的问题呢？
根本原因是，ResNet对网络架构上的革新，这才使得网络的深度优势发挥出作用，这个革新就是残差学习（Residual learning）。
它使得，随着网络层数的增加，其性能也同时增加，如下图所示：
2.4 何明凯其人
何恺明，本科就读于清华大学，博士毕业于香港中文大学多媒体实验室。
2011年加入微软亚洲研究院（MSRA）工作，主要研究计算机视觉和深度学习。2016年，加入Facebook AI Research（FAIR）担任研究科学家。2020年1月11日，荣登AI全球最具影响力学者榜单。
2.5 什么是“残差”？
“残差”蕴含了有关模型基本假设的重要信息。
如果回归模型正确的话， 我们可以将残差看作误差的观测值。
在ResNet网络中，“残差”表示的是ResNet网络的基本组成“块”，这个“块”表示具有差的性质，即使Y = X + F(X) => Y - X = F(X), 其中F(X)就是“残差”。
Y = X + F(X) 这样的结构就是“残差”块，由““残差”块叠加而成的网络就是“残差”。
2.6 “残差”内在的思想
浅层网络具备更多的特征信息，如果我们把浅层（低层管理层）的特征传到高层（管理层），让高层根据这些信息进行决策（分类和特征提取），那么高层最后的效果应该至少不比浅层的网络效果差，最坏的情况是与低层更好的效果，更普遍的情况是，高层由于有更多、更抽象的特征信息，因此高层的决策效果会比低层更准确。
更抽象的讲，我们需要一种技术，确保保证了L+1层的网络一定比 L层包含更多的图像信息。
这就是ResNet shortcut网络结构的底层逻辑和内在思想！！！。
“残差”块是残差网络的核心，有必要深入了解其基本组成与原理。
第3章 “残差”块的基本组成
shortcut连接相当于简单执行了同等映射，不会产生额外的参数，也不会增加计算复杂度。
第4章 ResNet的网络结构
4.1 NesNET-34网络结构-1（全部描述）
4.2 NesNET-34网络结构-2（简化描述）
（1）输入
- 任意尺寸
（2）64通道卷积
- 7* 7 * 64的卷积核
（3）64通道的“残差块
- 3个残差块
- 每个残差块组成：2个3*3*64的卷积核
（4）128通道的“残差块
- 3+1=4个残差块
- 每个残差块组成：2个3*3*128的卷积核
（5）256通道的“残差块
- 5+1 = 6个残差块
- 每个残差块组成：2个3*3*256的卷积核
（6）512通道的“残差块
- 2+1 = 3个残差块
- 每个残差块组成：2个3*3*512的卷积核
（7）池化
- 平均池化
（8）1000分类的全连接
- 单层全连接
- 1000个全连接神经元
- 1000个输出
（9）总层数：34层
4.3 不同层的残差网络
- 随着网络层数的增加，精确度也在提升，网络的参数的数量和计算量也都在提升。
- 通过简单的堆叠“残差”块，提升网络的深度。
4.4 不同层的残差网络的性能比较
（1）比较图-1
备注：
Plain-18/34：表示非残差网络，34层的网络错误率反而低于18层的网络。
ResNet-18/34：表示残差网络，34层的网络错误率要高于18层的网络。
（2）比较图-2
ResNet-110 > ResNet-56 > ResNet-20 > Plain-20 > Plain-56
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120915279
[人工智能-深度学习-28]：卷积神经网络cnn-网络架构与描述方法
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806599目录第1章卷积神经网络总体概述1.1 什么是卷积神经网络1.2卷积... 查看详情
[人工智能-深度学习-32]：卷积神经网络cnn-常见分类网络-alexnet
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-25]：卷积神经网络cnn-cs231n解读-卷积层详解
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-25]：卷积神经网络CNN-CS231n解读-卷积层详解_文火冰糖（王文兵）的博客-CSDN博客目录第1章卷积神经网络概述第2章卷积核的局部连接性：... 查看详情
[人工智能-深度学习-26]：卷积神经网络cnn-为啥要卷积神经网络以及卷积神经网络的应用
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120805258目录第1章 全连接网络的缺点第2章卷积神经网络的时思想起源第... 查看详情
[人工智能-深度学习-31]：卷积神经网络cnn-常见卷积神经网络综合比较大全
...;https://blog.csdn.net/HiWangWenBing/article/details/120835303目录第1章人工智能发展的3次浪潮1.1 人工智能的发展报告2011-20201.2来自其他途径第2章神经网络的演进历史2. 查看详情
[人工智能-深度学习-24]：卷积神经网络cnn-cs231n解读-卷积神经网络基本层级
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-23]：卷积神经网络CNN-CS231n解读-卷积神经网络基本层级_文火冰糖（王文兵）的博客-CSDN博客 目录第1章CS321n卷积神经网络简介1.1 CS321n的简介... 查看详情
[人工智能-深度学习-27]：卷积神经网络cnn-核心概念（卷积滑动填充参数共享通道）
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806277目录第1章卷积中的“积”的定义1.1卷积中的“积”是内积第2章... 查看详情
[人工智能-深度学习-22]：卷积神经网络cnn--单层神经网络的本质是矩阵相乘
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-22]：卷积神经网络CNN--单层神经网络的本质是矩阵相乘_文火冰糖（王文兵）的博客-CSDN博客目录第1章单个神经的本质是一维矩阵（向量&#... 查看详情
[人工智能-深度学习-20]：卷积神经网络cnn-全连接网络的缺点与cnn的使命
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872目录第1章全连接神经网络的缺点1.1什么是全连接网络1.2全连接网... 查看详情
[人工智能-深度学习-35]：卷积神经网络cnn-常见分类网络-googlenetincepetion网络架构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-33]：卷积神经网络cnn-常见分类网络-lenet网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-23]：卷积神经网络cnn-卷积核的本质是多维输入的神经元
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120734529目录第1章预备核心概念1.1单个神经元的一维矩阵运算模型1.2神经... 查看详情
[人工智能-深度学习-29]：卷积神经网络cnn-全连接网络与卷积网络结构的互为等效与性能比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864目录第1章单个全连接神经元与卷积核神经元的结构比较1.1全连接... 查看详情
[人工智能-深度学习-34]：卷积神经网络cnn-常见分类网络-vgg16/vgg19网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-30]：卷积神经网络cnn-感受野，特征的提取与范围的扩散
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120833158目录第1章什么感受野1.1生物学对感受野的定义1.2卷积神经网络中... 查看详情
大话卷积神经网络（cnn）
...lNeuralNetworks，简称CNN）是推动这一切爆发的主力，在目前人工智能的发展中有着非常重要的地位。【问题 查看详情
卷积深度信念网络 (CDBN) 与卷积神经网络 (CNN)
】卷积深度信念网络(CDBN)与卷积神经网络(CNN)【英文标题】：ConvolutionalDeepBeliefNetworks(CDBN)vs.ConvolutionalNeuralNetworks(CNN)【发布时间】：2015-04-0912:38:00【问题描述】：最后，我开始学习神经网络，我想知道卷积深度信念网络和卷积网... 查看详情
[人工智能-深度学习-47]：卷积神经网cnn+循环神经网络rnn与组合电路+时序电路的比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121367263目录第1章计算机数字电路的基本单元1.1计算机数字电路1.2组合电... 查看详情