循环神经网络简介

循环神经网络（RNN）是专门用于处理序列数据（x1，…，xm）的。^[1]与传统的神经网络相比，结构上，循环神经网络内部所有循环神经单元根据链式规则彼此相连，即隐藏层的神经元之间相互连接；功能上，循环神经网络会考虑前面出现的信息，即具有“记忆”功能，更加注重挖掘样本之间的时序关联。在循环神经网络中，神经元不但可以接收其他神经元的信息，还可以接收自身的信息，形成具有环路的网络结构。理论上循环神经网络具备处理任意长度序列数据的能力，广泛用于处理视频、语音、文本等序列数据。

RNN隐藏层神经元之间相互连接，使隐藏层神经元输出信号能够在下一时刻作用回自身，即神经元在t时刻输入有上层的输出和自身在上一时间刻的输出信号。因此循环神经网络能够学习序列数据的特征和长期依赖关系，能将当前时刻的输入序列映射至输出序列，并预测下一时刻的输出。

循环神经网络在时间序列的传播过程如图11－1。其中：X （t）为输入序列t时刻数据，同理知X （t＋1），X （t－1）；h （t）为记忆单元在时刻t的隐藏状态；O （t）为RNN在t时刻输出值；L （t）为RNN在t时刻损失函数；y （t）为t时刻输入序列真实标签；h （t）为RNN在t时刻隐藏值；U、W、V为模型线性关系参数，此处为矩阵形式，在RNN中相同类型节点权重在不同时刻是共享的，即任意时刻输入层至隐藏层的权重U、隐藏层之间的权重W、隐藏层至输出层的权重V均为相等的。

图11-1　RNN时间步展开示意图(www.xing528.com)

序列信号传递过程见式（11－1）和式（11－2），其中σ为激活函数，可将线性问题转化为非线性问题，常用激活函数有Relu、Sigmoid、tanh、Leaky、ReLU等。由式（11－1）可以看出h （t）由X （t）和h （t－1）共同决定，由式（11－2）知t时刻的最终输出为，损失函数L （t）用来量化t时刻输出和真实值y的偏离程度，通过梯度下降算法最小化损失函数，以找到将序列数据x映射至序列数据标签y的最优参数U、W、V。

式（11－1）中：h （t－1）、h （t）分别：为记忆单元在时刻t－1、t的隐藏状态；X （t）为时刻t时的输入；U、W、b为需要学习的参数；σ为激活函数。

式（11－2）中：V、c为需要学习的参数；为时刻t的最终输出。