关键词：
基于深度学习的图像分类
1. 图像分类任务
图像分类：根据图像的语义信息区分不同类别图像，是计算机视觉中重要问题，也是图像检测、图像分割、物体跟踪、行为分析等其他高层视觉任务的基础。
应用：
- 安防领域的人脸识别
- 智能视频分析
- 交通领域的交通场景识别
- 基于内容的图像检索和相册自动归类
- 医学领域的图像识别等。
2. 常用数据集及模型介绍
2.1 发展简介
ILSVRC（ImageNet Large Scale Visual Recognition Challenge）：机器视觉领域最受追捧和最具权威的学术竞赛之一，代表了图像领域的最高水平。
图像分类挑战：
判断图片种的物体在1000个分类中所属的类别，采用top-5错误评估方式。
即对每张图给出5次猜测结果，只要5次由一次命中真实类别就算正确分类。
2.2 模型介绍
自2012年AlexNet问世至今，几乎每 年的ILSVRC大赛上都会有更加优秀模型出现。如：AlexNet、GoogLeNet、VGGNet、ResNet
常用数据集
- CIFAR：
http://www.cs.toronto.edu/~kriz/cifar.html - ImageNet：
http://www.image-net.org/ - MSCOCO：
http://cocodataset.org/
3. 基于深度学习模型逻辑
3.1 基本算法过程
http://www.image-net.org/challenges/LSVRC/
3.2 多组卷积+激活+池化效果
http://www.image-net.org/challenges/LSVRC/
4. 模型及代码分析
4.1 AlexNet（2012）
AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。
- 首次在CNN中成功应用ReLU
- Dropout
- LRN
- 使用了GPU进行运算加速
- 数据增强
4.2 VGGNets（2014）
VGGNet是一个继承了AlexNet的思路，尝试建立层次更多、深度更深的网络。
其网络结构同样由8个层次构成，也是5组卷积层、3个全连接层。
主要的区别在于：VGGNet的每个卷积层并不是一次卷积操作，而是连续卷积2~4次。
https://github.com/stephen-v/tensorflow_vgg_classify
4.3 ResNet（2015）
ResNet（Residual Neural Network）由微软研究院的Kaiming He等四名华人提出，通过使用ResNet Unit成功训练出了152层的神经网络，并在ILSVRC2015比赛中取得冠军，在top5上的错误率为3.57%，同时参数量比VGGNet低，效果非常突出。ResNet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时ResNet的推广性非常好，甚至可以直接用到InceptionNet网络中。
但是直接让一些层去拟合一个潜在的恒等映射函数H(x) = x，比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒等映射H(x) = x. 而且，拟合残差肯定更加容易。
5. 参考文献
[1] DE Rumelhart, GE Hinton, RJ Williams, Learning internal representations by error propagation. 1985 – DTIC Document.
[2] Y. LeCun , B. Boser , J. S. Denker , D. Henderson , R. E. Howard , W. Hubbard and L. D. Jackel, “Backpropagation
applied to handwritten zip code recognition”, Neural Computation, vol. 1, no. 4, pp. 541-551, 1989.
[3] Kaiming He, Deep Residual Learning, http://image-net.org/challenges/talks/ilsvrc2015_deep_residual_ learning_kaiminghe.pdf
[4] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition.
Proceedings of the IEEE, 86(11):2278–2324, 1998.
[5] A. Krizhevsky, I. Sutskever, and G. Hinton. Imagenet classification with deep convolutional neural networks. In
Advances in Neural Information Processing Systems 25, pages 1106–1114, 2012.
[6] Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott E. Reed, Dragomir Anguelov, Dumitru Erhan,
Vincent Vanhoucke, Andrew Rabinovich: Going deeper with convolutions. CVPR 2015: 1-9
[7] Karen Simonyan, Andrew Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition.
CoRR abs/1409.1556 (2014)
[8] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep Residual Learning for Image Recognition. IEEE
Conference on Computer Vision and Pattern Recognition (CVPR), 2016
深度学习与图神经网络核心技术实践应用高级研修班-day1深度学习的发展历史（完整版）
...发展历史1.深度学习发展历史2.深度学习的发展趋势3.人工神经网络4.模型与算法4.1前馈神经网络4.2前馈神经网络特点4.3前馈神经网络结构4.4BP神经网络4.5BP网络结构4.6BP网络学习算法4.6.1信号的前向传递过程4.6.1误差方向传导过程1.... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4深度强化学习（deepq-learning）
深度强化学习（DeepQ-learning）1.深度强化学习简介2.DQN算法解析3.DQN在游戏中的应用4.代码讲解4.1数据预处理4.2网络结构4.3Exploration&Exploitation4.4经验回放机制4.5经验存储4.6经验回放1.深度强化学习简介传统的强化学习通常... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1典型深度神经网络模型
典型深度神经网络模型1.AlexNet模型1.1AlexNet：网络结构1.2AlexNet：特点1.3AlexNet:Dropout层1.4AlexNet：实验结果2.VGG(VisualGeometryGroup)2.1VGG特点:3*3卷积核2.2VGG特点:1*1卷积核2.3VGG网络结构3.ResNet3.1ResNet的诞生背景4.GoogLe 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1受限波尔兹曼机和深度信念网络
深度学习的常用模型及方法-受限波尔兹曼机和深度信念网络1.受限玻尔兹曼机1.1受限玻尔兹曼机原理1.2受限玻尔兹曼机实现2.深度信念网络2.1深度信念网络原理1.受限玻尔兹曼机受限玻尔兹曼机（RBM，RestrictedBoltzmannmachine&#... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1tensorflow和pytorch(代码片段)
深度学习与图神经网络-Tensorflow和Pytorch1.TensorFlow和Pytorch2.TensorFlow简介3.TensorFlow的API4.Pytorch简介5.Python安装6.TensorFlow安装7.Pytorch安装1.TensorFlow和Pytorch2.TensorFlow简介TensorFlow最初是由GoogleBrain团队（隶属于Goo 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1小样本学习与元学习
深度学习的常用模型及方法-小样本学习与元学习1.小样本学习1.12-way5-shot示例1.2基于模型的方法1.3基于度量的方法1.4基于优化的方法1.5数据集1.6基于混合注意力的原型网络2.元学习2.1元学习基础知识2.2元学习实际应用2.3元学习经... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3对抗生成网络（generativeadversarialnetworks）
...N的原理1.8GAN的特性1.9深度GAN1.10GAN的基本框架1.11基于递归神经网络的GAN2.判别模型3.GAN的应用实例-图像超分辨率4. 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day2基于keras的深度学习程序开发(代码片段)
基于Keras的深度学习程序开发及模型构建1.Keras简介2.Keras模块3.Keras模型组织方式4.数据集导入（MNIST）5.网络层6.激活函数7.优化器(随机梯度下降优化器)8.损失函数9.初始化器10.正则化器11.案例代码11.1导入库函数11.2设置参数... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day2循环神经网络（rnn）
RNN循环神经网络1.RNN循环神经网络1.1循环神经网络（RNN）——网络结构1.2反向传播算法——链式法则1.3反向传播算法——参数更新1.4随时间反向传播（BPTT）2.RNN循环神经网络改进2.1长短期记忆网络(LSTM)——网络结... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1卷积神经网络和循环神经网络
深度学习的常用模型及方法-卷积神经网络和循环神经网络1.卷积神经网络（CNN）1.1CNN的生物学基础1.2CNN的历史2.循环神经网络（RNN）2.1网络结构1.卷积神经网络（CNN）每一个Convolutionlayer（卷积层）都... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1注意力机制（attention）
注意力机制1.Attention注意力2.Encoder-Decoder框架3.Attention的本质4.SelfAttention模型1.Attention注意力Attention:从大量信息中有选择地筛选出少量重要信息并聚焦到这些重要信息上，忽略大多不重要的信息。2.Encoder-Decoder框架3.Attention的本... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1卷积神经网络（cnn详解）
卷积神经网络1.从神经元到多层神经网络1.1深度学习方法->反向传播1.2常见损失函数1.2.1均方误差1.2.2交叉熵损失函数2.卷积神经网络2.1卷积神经网络的产生背景2.2卷积层2.3滤波器与通道数2.4池化层2.5全连接层2.6激活函数层2.73DCNN... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3去噪自编码器（denoising）
去噪自编码器（Denoising）1.问题背景2.问题定义3.实验方案3.1数据来源3.2获取带噪声图片3.3获取带噪声图片3.4模型实现3.5Encoder实现3.6Encoder实现4.实验效果1.问题背景简介自编码器（AutoEncoder）是深度学习中的⼀类无... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4基于深度学习的图像分类（image_classification）(代码片段)
基于深度学习的图像分类1.图像分类任务2.常用数据集及模型介绍2.1发展简介2.2模型介绍3.基于深度学习模型逻辑3.1基本算法过程3.2多组卷积+激活+池化效果4.模型及代码分析4.1AlexNet（2012）4.2VGGNets（2014）4.3Res... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3基于深度学习的视频行为识别（action_recognition）
基于深度学习的视频行为识别1.基于深度学习的视频行为识别2.基于C3D的视频行为识别方法3.基于LSTM的视频行为识别方法4.基于Attention的行为识别方法1.基于深度学习的视频行为识别视频行为识别视频行为识别是指给一个视频片段... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day4基于深度学习的目标检测（object_detection）(代码片段)
基于深度学习的目标检测（object_detection）1.目标检测相关介绍2.RCNN系列模型3.YOLO系列模型1.目标检测相关介绍目标检测要解决的问题适应不同尺度多样化2.RCNN系列模型(1)输入测试图像(2)利用SelectiveSearch算法在图像中从下到... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day3图神经网络（gnn）(代码片段)
图神经网络基础和基本思想1.图神经网络1.1图神经网络的定义和目标1.2图神经网络的思想和工作原理1.3图神经网络的应用场景2.图卷积神经网络2.1图卷积神经网络的定义2.2图卷积神经网络的卷积方式2.3卷积神经网络与图卷积神经... 查看详情
深度学习与图神经网络核心技术实践应用高级研修班-day1数据理解和处理(代码片段)
数据理解和处理0.数据理解和处理1.结构化数据2.图像数据3.时序信号0.数据理解和处理结构化数据图像数据时序信号1.结构化数据结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式... 查看详情