[人工智能-深度学习-30]:卷积神经网络cnn-感受野,特征的提取与范围的扩散

文火冰糖的硅基工坊 文火冰糖的硅基工坊     2023-01-15     791

关键词:

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120833158


目录

第1章 什么感受野

1.1 生物学对感受野的定义

1.2 卷积神经网络中的感受野

第2章 感受野的神奇效果

2.2 视野的扩散

2.3 抽象度的提升


第1章 什么感受野

1.1 生物学对感受野的定义

感受野,感受器受刺激兴奋时,通过感受器官中的向心神经元将神经冲动(各种感觉信息)传到上位中枢,一个神经元所反应(支配)的刺激区域就叫做神经元的感受野(receptive field)。又译为受纳野。末梢感觉神经元、中继核神经元以及大脑皮层感觉区的神经元都有各自的感受野。随感觉种类不同,感受野的性质、大小也不一致。

在视觉通路上,视网膜上的光感受器(杆体细胞和锥体细胞)通过接受光并将它转换为输出神经信号而来影响许多神经节细胞,外膝状体细胞以及视觉皮层中的神经细胞。反过来,任何一种神经细胞(除起支持和营养作用的神经胶质细胞外)的输出都依赖于视网膜上的许多光感受器。我们称直接或间接影响某一特定神经细胞的光感受器细胞的全体为该特定神经细胞的感受野(receptive field)。

皮肤感觉末梢神经元的感觉野,就是由一个感觉神经元的神经纤维所支配的许多感受器在皮肤表面所能反应的范围。一个视神经细胞和许多视觉感受器相连接,一条视神经纤维所支配的感受野是可以从视网膜上找到的。这种视觉感受野一般可用视角大小来表示。至于听觉系统的感受野则相当于每个听神经元对不同频率声音的应答野。

1.2 卷积神经网络中的感受野

感受野(Receptive Field),指的是卷积神经元能够一次性“看到的”输入区域。在卷积神经网络中,feature map上某个元素的计算受输入图像上某个区域的影响,这个区域即该元素的感受野。

分为卷积核的感受一下和整个神经网络输出的感受野。

(1)单一卷积核的感受野

一个卷积核的感受野就是一个卷积核的面积= 长度 * 宽度。

(2)串联卷积神经网络输出的感受野

从输出开始,逐步递推到输入时的平面面积。

如上图,假设步长为1:

输出是layer3时,一次卷积,对于layer2的感受野是3 * 3。

输出是layer2时,一次卷积,其对于layer1的感受野是3 * 3

由于横向的方向有连续3次的卷积,因此横向的范围扩展为3 + 1 + 1 = 5。

由于纵向的方向有连续3次的卷积,因此纵向的范围扩展为3 + 1 + 1 = 5。

这时候layer3对layer1的感受野扩展为5 * 5.

如上图,假设步长为2

输出是layer3时,一次卷积,对于layer2的感受野是3 * 3。

输出是layer2时,一次卷积,其对于layer1的感受野是3 * 3

由于横向的方向有连续3次的卷积,因此横向的范围扩展为3 + 2 + 2 = 7。

由于纵向的方向有连续3次的卷积,因此纵向的范围扩展为3 + 2 + 2 = 7。

这时候layer3对layer1的感受野扩展为7 * 7.

第2章 感受野的神奇效果

(1)特征的提取

卷积核的作用,就是通过卷积,提取感受野大小范围内的输入数据的特征。

所谓提取特征,就是用输入数据与卷积核的W矩阵进行神经元运算(内积),得到一个输出数据。

2.2 视野的扩散

从上图可以看出,Layer2对Layer1的感受野的范围是3 * 3, Layer3对Layer2的感受野的范围是3 * 3.

Layer3对layer1感受野的范围就不再是3 * 3, 因为Layer3感受到了3*3 = 9区域的大小。而每个Layer2点,又分别来自于Layer1的3*3的内积,但由于卷积在移动的过程,有可能在Layer1上重叠,因此,Layer3的感受野并非是:3 *3 * 3 * 3 = 81. 实际感受野的大小与移动的步长相干。

如果步长是1:则Layer3感受Llayer1的感受野时:(3+1+1) * (3+1+1) = 25

如果步长是2:则Layer3感受Llayer1的感受野时:(3+2+2) * (3+2+2) = 49

如果步长是3:则Layer3感受Llayer1的感受野时:(3+3+3) * (3+3+3) = 81

随着卷积层输出的增加的变化,输出端的感受野也在被层层放大。

2.3 抽象度的提升

 由于每个卷积层是对上一层某方面特征的一次提取,随着卷积层的增加,没见增加一层,提取的特征就更加抽象。

第一层的卷积时针对原始的图片特征的提取,提取出原始图片输出特征图片。第二层对第一层特征的进一步特征的提取,第三层是对第二层特征的进一步提取,第四层。。。。。

每一层都是在原有特征的基础之上的抽象程度的进一步提升,最后抽象出的特征作为全连接分类的特征输出。

因此,每一次的卷积,都是对输入数据特征的进一步抽象而已。


作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客

本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120833158

[人工智能-深度学习-28]:卷积神经网络cnn-网络架构与描述方法

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120806599目录第1章卷积神经网络总体概述1.1 什么是卷积神经网络1.2卷积... 查看详情

[人工智能-深度学习-32]:卷积神经网络cnn-常见分类网络-alexnet

...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情

[人工智能-深度学习-25]:卷积神经网络cnn-cs231n解读-卷积层详解

...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址:[人工智能-深度学习-25]:卷积神经网络CNN-CS231n解读-卷积层详解_文火冰糖(王文兵)的博客-CSDN博客目录第1章卷积神经网络概述第2章卷积核的局部连接性:... 查看详情

[人工智能-深度学习-26]:卷积神经网络cnn-为啥要卷积神经网络以及卷积神经网络的应用

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120805258目录第1章 全连接网络的缺点第2章卷积神经网络的时思想起源第... 查看详情

[人工智能-深度学习-31]:卷积神经网络cnn-常见卷积神经网络综合比较大全

...;https://blog.csdn.net/HiWangWenBing/article/details/120835303目录第1章人工智能发展的3次浪潮1.1 人工智能的发展报告2011-20201.2来自其他途径第2章神经网络的演进历史2. 查看详情

[人工智能-深度学习-24]:卷积神经网络cnn-cs231n解读-卷积神经网络基本层级

...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址:[人工智能-深度学习-23]:卷积神经网络CNN-CS231n解读-卷积神经网络基本层级_文火冰糖(王文兵)的博客-CSDN博客 目录第1章CS321n卷积神经网络简介1.1 CS321n的简介... 查看详情

[人工智能-深度学习-27]:卷积神经网络cnn-核心概念(卷积滑动填充参数共享通道)

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120806277目录第1章卷积中的“积”的定义1.1卷积中的“积”是内积第2章... 查看详情

[人工智能-深度学习-22]:卷积神经网络cnn--单层神经网络的本质是矩阵相乘

...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址:[人工智能-深度学习-22]:卷积神经网络CNN--单层神经网络的本质是矩阵相乘_文火冰糖(王文兵)的博客-CSDN博客目录第1章单个神经的本质是一维矩阵(向量&#... 查看详情

[人工智能-深度学习-20]:卷积神经网络cnn-全连接网络的缺点与cnn的使命

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120732872目录第1章全连接神经网络的缺点1.1什么是全连接网络1.2全连接网... 查看详情

[人工智能-深度学习-35]:卷积神经网络cnn-常见分类网络-googlenetincepetion网络架构分析与详解

...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情

[人工智能-深度学习-38]:卷积神经网络cnn-常见分类网络-resnet网络架构分析与详解

...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情

[人工智能-深度学习-33]:卷积神经网络cnn-常见分类网络-lenet网络结构分析与详解

...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情

[人工智能-深度学习-23]:卷积神经网络cnn-卷积核的本质是多维输入的神经元

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120734529目录第1章预备核心概念1.1单个神经元的一维矩阵运算模型1.2神经... 查看详情

[人工智能-深度学习-29]:卷积神经网络cnn-全连接网络与卷积网络结构的互为等效与性能比较

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120808864目录第1章单个全连接神经元与卷积核神经元的结构比较1.1全连接... 查看详情

[人工智能-深度学习-34]:卷积神经网络cnn-常见分类网络-vgg16/vgg19网络结构分析与详解

...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情

大话卷积神经网络(cnn)

...lNeuralNetworks,简称CNN)是推动这一切爆发的主力,在目前人工智能的发展中有着非常重要的地位。【问题 查看详情

[人工智能-深度学习-47]:卷积神经网cnn+循环神经网络rnn与组合电路+时序电路的比较

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/121367263目录第1章计算机数字电路的基本单元1.1计算机数字电路1.2组合电... 查看详情

[人工智能-深度学习-21]:卷积神经网络cnn--多维输入的神经元模型及其本质:一维矩阵的点乘(代码片段)

作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/details/120795317目录第1章神经元的一维输入模型1.1一维线性输入的原始神经元模... 查看详情