当前在机器视觉以及自然语言处理领域存在一些性能良好的神经网络结构。这些网络都是基于一些基础的神经网络以改进、组合等方式搭建而成的，其中较为典型的网络有前馈神经网络、卷积神经网络、自动编码器及递归神经网络等。本节将主要对一些工作中经常用到的网络结构及原理进行简要介绍。
1.前馈神经网络
前馈神经网络是最简单的一种网络框架，也是各种神经网络中最基本的神经网络。前馈神经网络也是一种多层感知器。前馈神经网络的每一层都有多个神经元，每一层中的任意一个神经元是由上一层（隐藏层或者输入层）所有神经元加权和激活函数处理得到的。其中，隐藏层个数是可以灵活设置的，一般需要根据网络的性能进行调整，且整个网络中没有返回的计算过程，信号在所有神经网络层之间都是以单向传播的形式传播的，不存在逆向传播。假设隐藏层个数为3，一个典型的多层前馈神经网络如图9-3所示。
图9-3 全连接神经网络
2.卷积神经网络
CNN是一种典型的前馈神经网络，其在图像处理研究领域中具备优异的效果。卷积神经网络主要包括三个重要的模块：局部感受野模块、共享权值模块、池化模块。
（1）局部感受野：与一般深度神经网络不同的是，特征提取层中每一个神经元信息只包含一个矩阵部分局域的元素信息。该特性模仿人类视觉，主要关注局部的重要信息。
（2）共享权值：在特征信息映射的网络层中，任意一个神经元所连接的前面一层的神经元所采用的权重值是相同值，这将会大幅度减少网络框架中训练参数的个数，最终达到降低网络框架复杂度的目的，其中映射结构中所采用的激活函数为Sigmoid函数。
（3）池化：池化层的目的是将特征信息降维和矩阵压缩，从而减少特征信息的冗余信息。一般情况下，卷积神经网络中的每一个卷积层都有一个池化操作和激活函数操作，这两种特有的操作都会起到减小特征分辨率的效果。其中卷积和池化算法如图9-4所示。
(www.xing528.com)
图9-4 卷积神经网络
其中，卷积层中：
最大池化：
3.自动编码器
自动编码器是在深度神经网络基础上改进的，该网络的思想是通过编码器结构将特征信息进行压缩降维，然后通过解码器进行信息重建。编码器函数的表达式为h=f（x），用于压缩编码，r=g（h）作为自动解码器函数，用于特征信息的重构。一般情况下，自动编码器的主要作用分为两种：一是对特征信息进行降维，二是对特征信息进行训练和学习。自编码神经网络尝试学习的一个函数为：hw，b（x）≈x，其目标就是拟合输入值与目标值之间的关系，用来代替一个恒等函数，从而使得输出x（2）接近于输入x（1）。恒等函数常用于自编码神经网络存在如限定隐藏神经元个数等限制条件时。
4.递归神经网络
递归神经网络因内部具备存储器算法，可以实现对序列及其上下文的深入理解，因此常用于时间序列、语音、音频等时序数据的信号处理。最为常用的一种递归神经网络是长短时记忆。该网络是递归神经网络的一种延伸，和简单的递归神经网络相比，LSTM将输入的信息包含在内存中，因此能够长时间记住它们的输入值。是否保留或丢弃某些信息主要靠门控单元来决定，门控单元根据当前信息的重要性决定是否存储或者删除信息，其中，重要性的分配主要通过权重实现，是通过网络训练学习到的。LSTM主要包括输入门、遗忘门和输出门，结构如图9-5所示。
图9-5 LSTM网络结构
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
