关键词：
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120835303
目录
第1章 人工智能发展的3次浪潮
1.1 人工智能的发展报告2011-2020
资料来源：清华大学、中国人工智能学会《人工智能的发展报告2011-2020》，赛迪研究院、人工智能产业创新联盟《人工智能实践录》，中金公司研究部
► 第一次浪潮（1956-1974年）：AI思潮赋予机器逻辑推理能力。伴随着“人工智能”这一新兴概念的兴起，人们对AI的未来充满了想象，人工智能迎来第一次发展浪潮。这一阶段，人工智能主要用于解决代数、几何问题，以及学习和使用英语程序，研发主要围绕机器的逻辑推理能力展开。其中20世纪60年代自然语言处理和人机对话技术的突破性发展，大大地提升了人们对人工智能的期望，也将人工智能带入了第一波高潮。
但受限于当时计算机算力不足，同时由于国会压力下美英政府于1973年停止向没有明确目标的人工智能研究项目拨款，人工智能研发变现周期拉长、行业遇冷。
► 第二次浪潮（1980-1987年）：专家系统使得人工智能实用化。最早的专家系统是1968年由费根鲍姆研发的DENDRAL系统，可以帮助化学家判断某特定物质的分子结构；DENDRAL首次对知识库提出定义，也为第二次AI发展浪潮埋下伏笔。20世纪80年代起，特定领域的“专家系统”AI程序被更广泛的采纳，该系统能够根据领域内的专业知识，推理出专业问题的答案，AI也由此变得更加“实用”，专家系统所依赖的知识库系统和知识工程成为了当时主要的研究方向。
然而专家系统的实用性只局限于特定领域，同时升级难度高、维护成本居高不下，行业发展再次遇到瓶颈。1990年人工智能DARPA项目失败，宣告AI的第二次浪潮步入低谷。不过，同时期BP神经网络的提出，为之后机器感知、交互的能力奠定了基础。
► 第三次浪潮（1993年至今）：深度学习助力感知智能步入成熟。不断提高的计算机算力加速了人工智能技术的迭代，也推动感知智能进入成熟阶段，AI与多个应用场景结合落地、产业焕发新生机。2006年深度学习算法的提出、2012年AlexNet在ImageNet训练集上图像识别精度取得重大突破，直接推升了新一轮人工智能发展的浪潮。2016年，AlphaGo打败围棋职业选手后人工智能再次收获了空前的关注度。从技术发展角度来看，前两次浪潮中人工智能逻辑推理能力不断增强、运算智能逐渐成熟，智能能力由运算向感知方向拓展。目前语音识别、语音合成、机器翻译等感知技术的能力都已经逼近人类智能。
1.2 来自其他途径
（1）第三层浪潮源于深度学习革命性的发展。
（2）卷积神经网络又是深度学习中最重要的动力之一。
第2章 神经网络的演进历史
2.1 卷积神经网络进化史
（1）AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。
（2）ResNet和inception称为一个2016年的巅峰。
（3）新的网络还在不断的涌现
2.2 深度神经网络大全
2.3 如何描述网络
（1）网络架构（结构）
- 串联
- 并联
- 跳联
（2）网络层数
- 卷积层
- 池化层
- 激活函数
- 全连接层
- 归一化
（3）网络参数量大小
- 模型参数个数
- 模型文件或内存大小
- 模型计算机大小
（4）准确率提升
- Top-1的准确率
- Top-5的错误率
- 与人的识别率的比较
第3章 网络指标比较
3.1 复杂度比较
3.2 准确率比较
3.3 错误率比较
3.4 不同网络参数运算比较
横坐标：操作运算量
纵坐标：Top-1的准确率
在上图中，inception-3 & inception-4、Restnet-101 & Restnet-152在准确率和网络运算量之间取得了较好的平衡，即准确率高、运算量小。
3.5 综合比较
3.6 参数量的计算方法
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120835303
[人工智能-深度学习-28]：卷积神经网络cnn-网络架构与描述方法
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806599目录第1章卷积神经网络总体概述1.1 什么是卷积神经网络1.2卷积... 查看详情
[人工智能-深度学习-32]：卷积神经网络cnn-常见分类网络-alexnet
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-25]：卷积神经网络cnn-cs231n解读-卷积层详解
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-25]：卷积神经网络CNN-CS231n解读-卷积层详解_文火冰糖（王文兵）的博客-CSDN博客目录第1章卷积神经网络概述第2章卷积核的局部连接性：... 查看详情
[人工智能-深度学习-26]：卷积神经网络cnn-为啥要卷积神经网络以及卷积神经网络的应用
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120805258目录第1章 全连接网络的缺点第2章卷积神经网络的时思想起源第... 查看详情
[人工智能-深度学习-24]：卷积神经网络cnn-cs231n解读-卷积神经网络基本层级
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-23]：卷积神经网络CNN-CS231n解读-卷积神经网络基本层级_文火冰糖（王文兵）的博客-CSDN博客 目录第1章CS321n卷积神经网络简介1.1 CS321n的简介... 查看详情
[人工智能-深度学习-27]：卷积神经网络cnn-核心概念（卷积滑动填充参数共享通道）
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120806277目录第1章卷积中的“积”的定义1.1卷积中的“积”是内积第2章... 查看详情
[人工智能-深度学习-22]：卷积神经网络cnn--单层神经网络的本质是矩阵相乘
...xff09;的博客_文火冰糖的硅基工坊_CSDN博客本文网址：[人工智能-深度学习-22]：卷积神经网络CNN--单层神经网络的本质是矩阵相乘_文火冰糖（王文兵）的博客-CSDN博客目录第1章单个神经的本质是一维矩阵（向量&#... 查看详情
[人工智能-深度学习-20]：卷积神经网络cnn-全连接网络的缺点与cnn的使命
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872目录第1章全连接神经网络的缺点1.1什么是全连接网络1.2全连接网... 查看详情
[人工智能-深度学习-35]：卷积神经网络cnn-常见分类网络-googlenetincepetion网络架构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-38]：卷积神经网络cnn-常见分类网络-resnet网络架构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-33]：卷积神经网络cnn-常见分类网络-lenet网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-23]：卷积神经网络cnn-卷积核的本质是多维输入的神经元
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120734529目录第1章预备核心概念1.1单个神经元的一维矩阵运算模型1.2神经... 查看详情
[人工智能-深度学习-29]：卷积神经网络cnn-全连接网络与卷积网络结构的互为等效与性能比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120808864目录第1章单个全连接神经元与卷积核神经元的结构比较1.1全连接... 查看详情
[人工智能-深度学习-34]：卷积神经网络cnn-常见分类网络-vgg16/vgg19网络结构分析与详解
...1.2卷积神经网络的核心要素1.3卷积神经网络的描述方法1.4人工智能 查看详情
[人工智能-深度学习-30]：卷积神经网络cnn-感受野，特征的提取与范围的扩散
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120833158目录第1章什么感受野1.1生物学对感受野的定义1.2卷积神经网络中... 查看详情
大话卷积神经网络（cnn）
...lNeuralNetworks，简称CNN）是推动这一切爆发的主力，在目前人工智能的发展中有着非常重要的地位。【问题 查看详情
[人工智能-深度学习-47]：卷积神经网cnn+循环神经网络rnn与组合电路+时序电路的比较
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121367263目录第1章计算机数字电路的基本单元1.1计算机数字电路1.2组合电... 查看详情
[人工智能-深度学习-21]：卷积神经网络cnn--多维输入的神经元模型及其本质：一维矩阵的点乘(代码片段)
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120795317目录第1章神经元的一维输入模型1.1一维线性输入的原始神经元模... 查看详情