LSTM 的论文原址：http://www.bioinf.jku.at/publications/older/2604.pdf

英文原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/

本文在 https://blog.csdn.net/Leo_Xu06/article/details/78141321 的翻译基础上做了一些修改

递归神经网络（Recurrent Neural Network, RNN）

人类每时每刻的思考都不是孤立的从头开始，就像你在阅读这篇文章时，你对每个词的理解都是基于对先前词的理解而产生的，因为你的想法是具有时序关联性的。

传统神经网络的一个主要缺点是——做不到信息的时序关联。举个例子，想象一下你想区分一个电影某个时间点所发生的事件，传统的神经网络就做不到根据之前的事件来推理得到下一个事件。

递归神经网络（RNN）可以解决这一问题，它的网络结构中存在回环，使得之前的信息得以保留。

上面的示意图中，模块 A 接受输入x_t，并输出 h_t，环形结构允许信息从一个网络状态转移到下一个网络状态。

这些循环让循环神经网络看起来有点神秘。但是，你再仔细想下，就会发现它们与常见的神经网络没有什么不一样的地方。循环神经网络可以被认为是同一网络的多个副本，每个副本向后继者传递一个消息。把它展开之后是这个样子的：

该链式结构揭示了RNN与序列（sequences）和列表（lists）紧密关联，用这种神经网络结构处理特定数据（文本，语言等）也是直观自然的。在过去的几年中，已经有一些难以置信的RNN成功应用案例来解决各种问题：语音识别、语言建模、翻译、图片字幕……这个名单还在不断扩展，相关讨论见Andrej Karpathy的博文：The Unreasonable Effectiveness of Recurrent Neural Networks。

这些成功背后的本质是“长短期记忆模型（LSTMs）”的使用，这是一种特殊的递归神经网络，它对很多任务都适用，而且相较于标准的RNN模型，它的性能要高出许多，几乎所有基于RNN令人激动的成果都是由它取得。本文也将探索这些 LSTM 模型