关键词：
点击上方“迈微AI研习社”，选择“星标★”公众号
重磅干货，第一时间送达
大家好，我是Charmve。
熟悉深度学习的朋友知道，LSTM是一种RNN模型，可以方便地处理时间序列数据，在NLP等领域有广泛应用。
在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分RNN以及LSTM，整个人醍醐灌顶。本文就是对视频的记录加上了一些个人的思考。
0. 从RNN说起
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。
1. 普通RNN
先简单介绍一下一般的RNN。其主要形式如下图所示（图片均来自台大李宏毅教授的PPT）：
这里：
为当前状态下数据的输入， 表示接收到的上一个节点的输入。
为当前节点状态下的输出， 而为传递到下一个节点的输出。
通过上图的公式可以看到，输出 h' 与 x 和 h 的值都相关。
而 y 则常常使用 h' 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。
对这里的y如何通过 h' 计算得到往往看具体模型的使用方式。
通过序列形式的输入，我们能够得到如下形式的RNN。
2. LSTM
2.1 什么是LSTM
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
LSTM结构（图右）和普通RNN的主要输入输出区别如下所示。
相比RNN只有一个传递状态 ，LSTM有两个传输状态，一个 （cell state），和一个 （hidden state）。RNN中的 等价于LSTM中的 。
其中对于传递下去的 改变得很慢，通常输出的 是上一个状态传过来的 加上一些数值。
而 则在不同节点下往往会有很大的区别。
2.2 深入LSTM结构
下面具体对LSTM的内部结构来进行剖析。
首先使用LSTM的当前输入 和上一个状态传递下来的 拼接训练得到四个状态。
其中 ， ， 是由拼接向量乘以权重矩阵之后，再通过一个 sigmoid 激活函数转换成0到1之间的数值，来作为一种门控状态。而 则是将结果通过一个 tanh 激活函数将转换成-1到1之间的值（这里使用 tanh 是因为这里是将其做为输入数据，而不是门控信号）。
下面开始进一步介绍这四个状态在LSTM内部的使用（敲黑板）
是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。 则代表进行矩阵加法。
LSTM内部主要有三个阶段：
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。
具体来说是通过计算得到的 （f表示forget）来作为忘记门控，来控制上一个状态的 哪些需要留哪些需要忘。
2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的 表示。而选择的门控信号则是由 （i代表information）来进行控制。
将上面两步得到的结果相加，即可得到传输给下一个状态的 。也就是上图中的第一个公式。
3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 来进行控制的。并且还对上一阶段得到的 进行了放缩（通过一个tanh激活函数进行变化）。
与普通RNN类似，输出 往往最终也是通过 变化得到。
3. 总结
以上，就是LSTM的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说，尤其好用。
但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。
© THE END
投稿或寻求报道微信：MaiweiE_com
GitHub中文开源项目《计算机视觉实战演练：算法与应用》，“免费”“全面“”前沿”，以实战为主，编写详细的文档、可在线运行的notebook和源代码。
项目地址 https://github.com/Charmve/computer-vision-in-action
项目主页 https://charmve.github.io/L0CV-web/
推荐阅读
（更多“抠图”最新成果）
迈微AI研习社
微信号: MaiweiE_com
GitHub: @Charmve
CSDN、知乎: @Charmve
投稿: yidazhang1@gmail.com
主页: github.com/Charmve
如果觉得有用，就请点赞、转发吧！
大白话聊聊微服务——人人都能看懂的演进过程
这篇博客的本意是希望看到这篇文章的读者能够很轻松的理解我想表达的意思。但程序向的分享经常会不经意间就贴上了代码，很可能就会让人看的很懵。而且我认为分享一个东西，只有对方真正明白了其中的逻辑，才是有意义... 查看详情
人人都能看懂的6种限流实现方案(代码片段)
为了上班方便，去年我把自己在北郊的房子租出去了，搬到了南郊，这样离我上班的地方就近了，它为我节约了很多的时间成本，我可以用它来做很多有意义的事，最起码不会因为堵车而闹心了，幸福感直线上升。 但即... 查看详情
人人都能看懂的spring源码解析，spring如何解决循环依赖
人人都能看懂的Spring源码解析，Spring如何解决循环依赖原理解析什么是循环依赖循环依赖会有什么问题？如何解决循环依赖问题的根本原因如何解决为什么需要三级缓存？Spring的三级缓存源码走读Spring的三级缓存提前... 查看详情
优秀文章及工具汇总
...：如何在Python中处理不平衡数据2.2模型详解2.2.1序列模型人人都能看懂的GRU强推|人人都能看懂的LSTM介绍及反向传播算法推导(非常详细)2.2.2机器学习Kaggle神器LightGBM最全解读！2.3业务总结2.3.1CTR算法大佬看了流泪，为什么这么好的... 查看详情
小学生都能看懂的fft！！！
小学生都能看懂的FFT！！！前言在创新实践重心偷偷看了一天FFT资料后，我终于看懂了一点。为了给大家提供一份简单易懂的学习资料，同时也方便自己以后复习，我决定动手写这份学习笔记。食用指南：本篇受众：如标题所示... 查看详情
review：人人都能看懂pod与容器设计模式
Review：人人都能看懂Pod与容器设计模式[]:https://mp.weixin.qq.com/s?__biz=MzA4ODg0NDkzOA==&mid=2247488010&idx=1&sn=37e4a3bff67d5ce466685b646cbab279&chksm=9022adefa75524f9f63ddc98d05210958725b79ba9823 查看详情
小白都能看得懂的教程一本教你如何在前端实现富文本编辑器(代码片段)
小白都能看得懂的教程一本教你如何在前端实现富文本编辑器博主博客文章内容导航（实时更新）更多优质文章推荐：收藏！最详细的Python全栈开发指南看完这篇你还不会Python全栈开发你来打我!!!一本教你如何在... 查看详情
人人都能看懂的python装饰器入门教程
大家好，我是萱萱！之前的文章中提到，很多人认为理解了装饰器的概念和用法后，会觉得自己的Python水平有一个明显的提高。但很多教程在一上来就会给出装饰器的定义以及基本用法，例如你一定会在很多... 查看详情
小白都能看懂的实战教程手把手教你pythonweb全栈开发(day4)(代码片段)
...家好，我叫亓官劼（qíguānjié）,这个《小白都能看懂的实战教程手把手教你PythonWeb全栈开发》是一个零基础的实战教程，手把手带你开发一套系统，带你了解Pythonweb全栈开发，目前正在连续更新中，如... 查看详情
小白都能看懂的redis讲解--针对单个键操作集锦
1重命名键renamekeynewname可以对键重命名，下面的例子我们创建了一个key为name，value为luke的键值对。然后将name重命名为user，之后查询name就返回nil，而user是可以查到值的。127.0.0.1:6379>setnamelukeOK127.0.0.1:6379>getname"luke"127.0.0.1:6379&... 查看详情
猴子都能看懂的androidmenu总结(代码片段)
简单谈谈Androidmenu菜单的使用，帮助入门的同学。menu主要分类：选项菜单：最常规的菜单子菜单：多层菜单的实现方案之一上下文菜单：android中长按视图控件后出现的菜单选项菜单(OptionMenu)该菜单默认在右上... 查看详情
小白都能看懂的关于mixins机制的理解(代码片段)
前言在学习Flutter源码的时候，看到各种复杂的mixin和on，为了便于后续Flutter的学习，这里有必要一起来份详细Dart的Mixin机制。什么是mixins首先看看官方文档的定义：Mixinsareawayofreusingaclass’scodeinmultipleclasshierarchie... 查看详情
小白都能看懂的关于mixins机制的理解(代码片段)
前言在学习Flutter源码的时候，看到各种复杂的mixin和on，为了便于后续Flutter的学习，这里有必要一起来份详细Dart的Mixin机制。什么是mixins首先看看官方文档的定义：Mixinsareawayofreusingaclass’scodeinmultipleclasshierarchie... 查看详情
零基础都能看懂的stlmap详解(代码片段)
🎈作者：Linux猿🎈简介：CSDN博客专家🏆，C/C++、面试、刷题、算法尽管咨询我，关注我，有问题私聊！🎈关注专栏：C/C++面试通关集锦 （优质好文持续更新中……）... 查看详情
小白都能看懂的实战教程手把手教你pythonweb全栈开发(day2)(代码片段)
小白都能看懂的实战教程手把手教你PythonWeb全栈开发Flask(PythonWeb)实战系列之在线论坛系统第二讲这是小白都能看懂的实战教程手把手教你PythonWeb全栈开发的第二讲，如果文中有基础知识不太熟悉的话，可以看博主前几期... 查看详情
小白都能看懂的linux系统下安装配置zabbix
实验环境：操作系统：Centos7.6服务器ip:192.168.10.100运行用户：root网络环境：InternetZabbix是一个基于web界面的提供分布式系统监控及网络功能的企业级的开源监控工具，做为一个企业运维人员来说，zabbix可以给企业和运维人员带来... 查看详情
小学生都能看懂的残差网络
ResNet残差网络本文适用于初次接触残差网络的小白，只是为了对残差网络有着更好的入门的一篇文章。问题提出：所谓深度学习，大部分人都会认为准确率会随着卷积层的增加而增加，但是随着技术的增加，... 查看详情
[图解]小白都能看懂的fasterr-cnn–原理和实现细节(代码片段)
Contents [hide]1 论文原文2 介绍3 Anchors3.1 如何确定一个anchor是正样本还是负样本？4 实现细节5 调试信息6 参考资料论文原文FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks介绍 FasterRCNN由RossB.Girshick在2016年提出ÿ 查看详情