关键词：
深度学习的常用模型及方法-深度学习发展历史
1. 深度学习发展历史
深度学习经历三次发展浪潮:
1）20世纪40年代到60年代深度学习的雏形出现在控制论中;
2）20世纪80年代到90年代深度学习表现为联结主义;
3）直到2006年，才真正以深度学习指明复兴。
深度学习的发展历史：
- 第一代神经网络（1958~1969）
神经网络的思想起源于1943年的MCP人工神经元模型，用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法）。
1969年，美国数学家及人工智能先驱Minsky在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了近20年的停滞。
- 第二代神经网络（1986~1998）
第一次打破非线性诅咒：Hinton，其在1986年发明了适用于多层感知器（MLP）的BP算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。该方法引起了神经网络的第二次热潮。
值得强调的是在1989年以后由于没有特别突出的方法被提出，且NN一直缺少相应的严格的数学理论支持，神经网络的热潮冷却。冰点来自于1991年，BP算法被指出存在梯度消失问题，该发现对此时的NN发展雪上加霜。
1997年，LSTM模型被发明，尽管该模型在序列建模上的特性非常突出，但由于正处于NN的下坡期，也没有引起足够的重视。
- 第三代神经网络（2006~至今）
该阶段又分为两个时期：快速发展期（2006 ~ 2012）与爆发期（2012~至今）
- 快速发展期（2006~2012）
2006年，DL元年。Hinton提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。其主要思想是先通过自学习的方法学习到训练数据的结构（自动编码器），然后在该结构上进行有监督训练微调。但是由于没有特别有效的实验验证，该论文并没有引起重视。
2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。
2011年，微软首次将DL应用在语音识别上，取得了重大突破。
- 爆发期（2012~至今）
2012年，Hinton课题组首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压**第二名（SVM方法）**的分类性能。
2013,2014,2015年，通过ImageNet图像识别比赛，DL的网络结构，训练方法，GPU硬件的不断进步，促使其在其他领域也在不断的征服战场。
2015年，Hinton，LeCun，Bengio论证了局部极值问题对于DL的影响，结果是Loss的局部极值问题对于深层网络来说影响可以忽略。该论断也消除了笼罩在神经网络上的局部极值问题的阴霾。
2. 深度学习的发展趋势
-
与日俱增的数据量
随着训练数据的增加，所需的技巧正在减少。在更小的数据集上获得成功是一个主要的研究领域。 -
与日俱增的模型规模
现在神经网络非常成功的一个重要原因是由于计算网络等硬件的快速发展。模型规模的扩大是深度学习历史中最重要的趋势之一。 -
与日俱增的精度，复杂度和对现实世界的冲击
深度学习提供精度识别和预测的能力一直在提高。而且，深度学习持续成功被应用于越来越广泛的实际问题中。在以后，深度学习能够出现在越来越多的科学领域。
3. 人工神经网络
人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。
该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。
4. 模型与算法
人工神经网络分类
- 按性能分：
- 连续型和离散型网络，或确定型和随机型网络。
- 按拓扑结构分：
- 前向网络和反馈网络。
人工神经网络分类
前向(前馈)网络，网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络 。 有自适应线性神经网络(AdaptiveLinear，简称Adaline)、单层感知器、多层感知器、BP等。
反馈网络，网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网 络、波耳兹曼机均属于这种类型。有Hopfield、Hamming、BAM等。
4.1 前馈神经网络
前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。
前馈神经网络采用一种单向多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿一个方向进行。其中第一层称为输入层。最后一层为输出层．中间为隐含层，简称隐层。隐层可以是一层，也可以是多层。
4.2 前馈神经网络特点
前馈神经网络结构简单，应用广泛，能够以任意精度逼近任意连续函数及平方可积函数．而且可以精确实现任意有限训练样本集。从系统的观点看，前馈网络是一种静态非线性映射．通过简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。从计算的观点看．缺乏丰富的动力学行为。大部分前馈网络都是学习网络，其分类能力和模式识别能力一般都强于反馈网络。
4.3 前馈神经网络结构
圆圈表示神经网络的输入，“+1”的圆圈被称为偏置
节点。神经网络最左边的一层叫做输入层，最右的一层
叫做输出层。中间所有节点组成的一层叫做隐藏层。
4.4 BP神经网络
BP(back propagation) 神经网络是 1986 年 由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。
感知机(Multilayer Perceptron，MLP)网络：被认为是一种真正能够使用的人工神经网络模型，它的出现曾掀起了人们研究人工神经元网络的热潮。单层感知网络（M-P模型）做为最初的神经网络，具有模型清晰、结构简单、计算量小等优点。
存在不足：
例如：无法处理非线性问题，即使计算单元的作用函数不用阀函数而用其他较复杂的非线性函数，仍然只能解决解决线性可分问题．不能实现某些基本功能，从而限制了它的应用。
增强网络的分类和识别能力、解决非线性问题的唯一途径是采用多层前馈网络，即在输入层和输出层之间加上隐含层。构成多层前馈感知器网络。
4.5 BP网络结构
4.6 BP网络学习算法
4.6.1 信号的前向传递过程
4.6.1 误差方向传导过程
深度学习与图神经网络核心技术实践应用高级研修班-day1深度学习的发展历史（完整版）
...发展历史1.深度学习发展历史2.深度学习的发展趋势3.人工神经网络4.模型与算法4.1前馈神经网络4.2前馈神经网络特点4.3前馈神经网络结构4.4BP神经网络4.5BP网络结构4.6BP网络学习算法4.6.1信号的前向传递过程4.6.1误差方向传导过程1.... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4深度强化学习（deepq-learning）
深度强化学习（DeepQ-learning）1.深度强化学习简介2.DQN算法解析3.DQN在游戏中的应用4.代码讲解4.1数据预处理4.2网络结构4.3Exploration&Exploitation4.4经验回放机制4.5经验存储4.6经验回放1.深度强化学习简介传统的强化学习通常... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1典型深度神经网络模型
典型深度神经网络模型1.AlexNet模型1.1AlexNet：网络结构1.2AlexNet：特点1.3AlexNet:Dropout层1.4AlexNet：实验结果2.VGG(VisualGeometryGroup)2.1VGG特点:3*3卷积核2.2VGG特点:1*1卷积核2.3VGG网络结构3.ResNet3.1ResNet的诞生背景4.GoogLe 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1受限波尔兹曼机和深度信念网络
深度学习的常用模型及方法-受限波尔兹曼机和深度信念网络1.受限玻尔兹曼机1.1受限玻尔兹曼机原理1.2受限玻尔兹曼机实现2.深度信念网络2.1深度信念网络原理1.受限玻尔兹曼机受限玻尔兹曼机（RBM，RestrictedBoltzmannmachine&#... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1tensorflow和pytorch(代码片段)
深度学习与图神经网络-Tensorflow和Pytorch1.TensorFlow和Pytorch2.TensorFlow简介3.TensorFlow的API4.Pytorch简介5.Python安装6.TensorFlow安装7.Pytorch安装1.TensorFlow和Pytorch2.TensorFlow简介TensorFlow最初是由GoogleBrain团队（隶属于Goo 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1小样本学习与元学习
深度学习的常用模型及方法-小样本学习与元学习1.小样本学习1.12-way5-shot示例1.2基于模型的方法1.3基于度量的方法1.4基于优化的方法1.5数据集1.6基于混合注意力的原型网络2.元学习2.1元学习基础知识2.2元学习实际应用2.3元学习经... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3对抗生成网络（generativeadversarialnetworks）
...N的原理1.8GAN的特性1.9深度GAN1.10GAN的基本框架1.11基于递归神经网络的GAN2.判别模型3.GAN的应用实例-图像超分辨率4. 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day2基于keras的深度学习程序开发(代码片段)
基于Keras的深度学习程序开发及模型构建1.Keras简介2.Keras模块3.Keras模型组织方式4.数据集导入（MNIST）5.网络层6.激活函数7.优化器(随机梯度下降优化器)8.损失函数9.初始化器10.正则化器11.案例代码11.1导入库函数11.2设置参数... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day2循环神经网络（rnn）
RNN循环神经网络1.RNN循环神经网络1.1循环神经网络（RNN）——网络结构1.2反向传播算法——链式法则1.3反向传播算法——参数更新1.4随时间反向传播（BPTT）2.RNN循环神经网络改进2.1长短期记忆网络(LSTM)——网络结... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1卷积神经网络和循环神经网络
深度学习的常用模型及方法-卷积神经网络和循环神经网络1.卷积神经网络（CNN）1.1CNN的生物学基础1.2CNN的历史2.循环神经网络（RNN）2.1网络结构1.卷积神经网络（CNN）每一个Convolutionlayer（卷积层）都... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1注意力机制（attention）
注意力机制1.Attention注意力2.Encoder-Decoder框架3.Attention的本质4.SelfAttention模型1.Attention注意力Attention:从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。2.Encoder-Decoder框架3.Attention的本... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1卷积神经网络（cnn详解）
卷积神经网络1.从神经元到多层神经网络1.1深度学习方法->反向传播1.2常见损失函数1.2.1均方误差1.2.2交叉熵损失函数2.卷积神经网络2.1卷积神经网络的产生背景2.2卷积层2.3滤波器与通道数2.4池化层2.5全连接层2.6激活函数层2.73DCNN... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3去噪自编码器（denoising）
去噪自编码器（Denoising）1.问题背景2.问题定义3.实验方案3.1数据来源3.2获取带噪声图片3.3获取带噪声图片3.4模型实现3.5Encoder实现3.6Encoder实现4.实验效果1.问题背景简介自编码器（AutoEncoder）是深度学习中的⼀类无... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4基于深度学习的图像分类（image_classification）(代码片段)
基于深度学习的图像分类1.图像分类任务2.常用数据集及模型介绍2.1发展简介2.2模型介绍3.基于深度学习模型逻辑3.1基本算法过程3.2多组卷积+激活+池化效果4.模型及代码分析4.1AlexNet（2012）4.2VGGNets（2014）4.3Res... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3基于深度学习的视频行为识别（action_recognition）
基于深度学习的视频行为识别1.基于深度学习的视频行为识别2.基于C3D的视频行为识别方法3.基于LSTM的视频行为识别方法4.基于Attention的行为识别方法1.基于深度学习的视频行为识别视频行为识别视频行为识别是指给一个视频片段... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4基于深度学习的目标检测（object_detection）(代码片段)
基于深度学习的目标检测（object_detection）1.目标检测相关介绍2.RCNN系列模型3.YOLO系列模型1.目标检测相关介绍目标检测要解决的问题适应不同尺度多样化2.RCNN系列模型(1)输入测试图像(2)利用SelectiveSearch算法在图像中从下到... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3图神经网络（gnn）(代码片段)
图神经网络基础和基本思想1.图神经网络1.1图神经网络的定义和目标1.2图神经网络的思想和工作原理1.3图神经网络的应用场景2.图卷积神经网络2.1图卷积神经网络的定义2.2图卷积神经网络的卷积方式2.3卷积神经网络与图卷积神经... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1数据理解和处理(代码片段)
数据理解和处理0.数据理解和处理1.结构化数据2.图像数据3.时序信号0.数据理解和处理结构化数据图像数据时序信号1.结构化数据结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式... 查看详情