关键词：
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872
目录
第1章 全连接神经网络的缺点
1.1 什么是全连接网络
前面介绍的浅层神经网络以及用神经元搭建的网络都是全连接神经网络，那么什么是全连接神经神经网络呢？如下图所示：
全连接（FC）网络结构是最基本的神经网络/深度神经网络层.
全连接网络的组成单元是：神经元，每个神经元是一个多输入单输出的线性叠加单元Y=WX + B。
全连接网络的每一层，是有m个相互独立的神经元组成，神经元之间相互独立。
全连接网络的核心词是：“全连接”，其含义如下：
- 每个神经元的输入与所有的输入X1，X2.....Xn属性全相连, 一共有n + 1个连接，每个连接带有一个权重参数w，一共有n个w参数，另加一个每个神经元的b参数。
- 每个输入属性Xi与所有的神经元全相连，则每个输入有m个连接，即m个w或b的参数。
因此，n个输入，m个神经元，构成的全连接网络，一共有(n+1) * m个神经元参数。
假如：28*28*3的输入图片，第一个隐藏层使用64个神经元
那么这个隐藏层，包含的W，B的参数个数 =（28*28*3+1） * 64 = 150592，就这么一个 简单的全连接网络，就需要大于15万个参数。这才64个神经元，如果1万个神经元，输入的参数属性的个数达到1万个（64*64*3），则参数的个数高达122880000，大约1亿，如此庞大。
1.2 全连接网络的优点
- 网络结构简单
- 网络组成直观
- 能够比较简单的应对线性回归
- 根据已有的数据特性，能够很好地进行分类
1.3 全连接网络的缺点
- 网络的连接参数巨大，计算量巨大
- 网络的连接参数巨大，存储空间巨大
- 只能通过单纯地增加网络节点增加网络的功能
- 将图像展开为向量会丢失空间信息；
- 其次参数过多效率低下，训练困难；
- 同时大量的参数也很快会导致网络过拟合。
- 很难自动发现输入数据更抽象的特征，只粗暴的把原始的输入作为数据的特征，根据原始数据进行分类。
1.4 全连接的应用场景
- 根据相对较少的特征值进行分类
- 根据相对较少维度的输入数据进行归回拟合
第2章 卷积神经网络的出现
全连接网络进行分类的一个重要的前提条件就是输入特征较少，这样网络连接的参数才能得到极大的降低，计算效率和存储效率才能得到提升，因此迫切需要这么一个特征的网络：
- 内部的连接方式与参数个数
该网络中，在神经元的个数无法降低的情况下，神经网络的参数的个数要得到有效的控制，这样就不能采用全连接网络，而采用部分网络连接的网络。
- 网络的功能目标输出
该网络能够从原始数据的特征量（如64*64*3 ~=1万的图片像素点）中，抽象、提取、发掘出图片新的特征。
- 网络的输出个数
上述新特征的数据量要远比原始数据的数据量要小很多，如1千个。
符合上面的要求的卷积神经网络应运而生：
（1）卷积神经网络就出现在上图中的特征提取网络。
（2）全局神经网络的提取的特征数据，提供给全连接网络，进行分类和线性回归。
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872
[人工智能-深度学习-28]：卷积神经网络cnn-网络架构与描述方法
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806599目录第1章卷积神经网络总体概述1.1 什么是卷积神经网络1.2卷积... 查看详情
[人工智能-深度学习-32]：卷积神经网络cnn-常见分类网络-alexnet
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-25]：卷积神经网络cnn-cs231n解读-卷积层详解
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-25]：卷积神经网络CNN-CS231n解读-卷积层详解_文火冰糖（王文兵）的博客-CSDN博客目录第1章卷积神经网络概述第2章卷积核的局部连接性：... 查看详情
[人工智能-深度学习-26]：卷积神经网络cnn-为啥要卷积神经网络以及卷积神经网络的应用
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120805258目录第1章 全连接网络的缺点第2章卷积神经网络的时思想起源第... 查看详情
[人工智能-深度学习-31]：卷积神经网络cnn-常见卷积神经网络综合比较大全
...;https://blog.csdn.net/HiWangWenBing/article/details/120835303目录第1章人工智能发展的3次浪潮1.1 人工智能的发展报告2011-20201.2来自其他途径第2章神经网络的演进历史2. 查看详情
[人工智能-深度学习-24]：卷积神经网络cnn-cs231n解读-卷积神经网络基本层级
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-23]：卷积神经网络CNN-CS231n解读-卷积神经网络基本层级_文火冰糖（王文兵）的博客-CSDN博客 目录第1章CS321n卷积神经网络简介1.1 CS321n的简介... 查看详情
[人工智能-深度学习-27]：卷积神经网络cnn-核心概念（卷积滑动填充参数共享通道）
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806277目录第1章卷积中的“积”的定义1.1卷积中的“积”是内积第2章... 查看详情
[人工智能-深度学习-22]：卷积神经网络cnn--单层神经网络的本质是矩阵相乘
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-22]：卷积神经网络CNN--单层神经网络的本质是矩阵相乘_文火冰糖（王文兵）的博客-CSDN博客目录第1章单个神经的本质是一维矩阵（向量&#... 查看详情
[人工智能-深度学习-35]：卷积神经网络cnn-常见分类网络-googlenetincepetion网络架构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-38]：卷积神经网络cnn-常见分类网络-resnet网络架构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-33]：卷积神经网络cnn-常见分类网络-lenet网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-23]：卷积神经网络cnn-卷积核的本质是多维输入的神经元
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120734529目录第1章预备核心概念1.1单个神经元的一维矩阵运算模型1.2神经... 查看详情
[人工智能-深度学习-29]：卷积神经网络cnn-全连接网络与卷积网络结构的互为等效与性能比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864目录第1章单个全连接神经元与卷积核神经元的结构比较1.1全连接... 查看详情
[人工智能-深度学习-34]：卷积神经网络cnn-常见分类网络-vgg16/vgg19网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-30]：卷积神经网络cnn-感受野，特征的提取与范围的扩散
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120833158目录第1章什么感受野1.1生物学对感受野的定义1.2卷积神经网络中... 查看详情
大话卷积神经网络（cnn）
...lNeuralNetworks，简称CNN）是推动这一切爆发的主力，在目前人工智能的发展中有着非常重要的地位。【问题 查看详情
[人工智能-深度学习-47]：卷积神经网cnn+循环神经网络rnn与组合电路+时序电路的比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121367263目录第1章计算机数字电路的基本单元1.1计算机数字电路1.2组合电... 查看详情
[人工智能-深度学习-21]：卷积神经网络cnn--多维输入的神经元模型及其本质：一维矩阵的点乘(代码片段)
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120795317目录第1章神经元的一维输入模型1.1一维线性输入的原始神经元模... 查看详情