神经网络的基本原理

人工神经网络（Artificial Neural Network）是通过模拟人脑神经元结构和工作原理，创造出来的非线性信息处理系统，是人类在仿生学方面取得的最富创见性的成果之一。现在通常认为，人的智能来源于大脑的复杂结构和强大功能。而人的大脑由约1000亿个神经元构成，这些神经元交互连接，产生了超过1000万亿的神经连接，从而构成了巨大而复杂的神经网络，实现了不可思议的人类智能。神经网络的基本组成单元即是神经元，每个神经元细胞可以简单地看做由三部分组成：树突、轴突、细胞体，如图3-1所示。

图3-1　神经元细胞

对每个神经元细胞，树突可以有多个，它们是接受来自其他神经细胞的刺激的通道；细胞体只有一个，它接受刺激并进行相应的处理；轴突也只有一个，它负责输出刺激，通过神经连接传递给其他神经元。依据生物神经元的结构和工作流程，可将人工神经元模型简化，如图3-2所示。

X1，X2，…，Xn 为树突输入，W1j，W2j，…，Wnj为树突连接强度，将树突输入求和后送入细胞核，细胞核对输入的处理等效为功能函数f，处理后的信息yj 经由轴突输出，此外模型中的θj 为阈值。综上，人工神经元模型的数学表达式可写为

图3-2　人工神经元模型

人工神经网络是由人工神经元以不同结构相互连接而构成的网状结构。一个神经网络的设计需要考虑三个方面的内容，即神经元功能函数、神经元连接形式和神经网络的训练算法。

3.2.1.1　神经元功能函数

神经元功能函数又称为激活函数，它包含了从输入信号到净输入、再到激活值、最终产生输出信号的过程。综合了净输入、f 函数的作用。f 函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。常用功能函数如下：

（1）简单线性函数：f（x）=x。

（2）对称硬限幅函数：f（x）=sgn（x-θ）=

（3）Sigmoid函数：f（x）=

（4）单极性S函数：f（x）=(www.xing528.com)

3.2.1.2　神经元连接形式

神经网络是一个复杂的互连系统，单元之间的互连模式将对网络的性质和功能产生重要影响。互连模式种类繁多，这里介绍两种典型的网络结构。

1.前馈网络

网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i层的神经元只接受第 （i-1）层神经元给出的信号，各神经元之间没有反馈。前馈网络可用一有向无环路图表示，如图3-3所示。最下方的输入节点并无计算功能，只是为了表征输入矢量各元素值。其他各层节点是具有计算功能的神经元，称为计算单元。每个计算单元可以有任意个输入，但只有一个输出，它可送到多个节点作输入。输入节点也可被称为输入层，而其他计算单元的各节点层在输入层后从下至上依次称为第1至第N 层，由此构成整个前馈网络。在图3-3中，最上方的一层计算单元输出计算结果，称为输出层；而除了输入层和输出层之外，其他层级称为隐含层，组成这些隐含层的神经元称为隐节点。BP 网络就是典型的前馈网络。

2.反馈网络

典型的反馈神经网络如图3-4所示，每个节点都表示一个计算单元，同时接受外加输入和其他各节点的反馈输入，每个节点也都直接向外部输出。Hopfield 网络即属此种类型。在某些反馈网络中，各神经元除接受外加输入与其他各节点反馈输入之外，还包括自身反馈。有时，反馈神经网络也可表示为一张完全的无向图，其中每一个连接都是双向的。这里，第i个神经元对于第j 个神经元的反馈与第j～i神经元反馈之突触权重相等，即Wij=Wji。

图3-3　前馈网络

图3-4　反馈网络

以上介绍了两种最基本的人工神经网络结构，实际上人工神经网络还有多种网络结构，例如从输出层到输入层有反馈的前向网络，同层内或异层间有相互反馈的多层网络等。

3.2.1.3　神经网络的训练算法

神经网络的重要特征就是学习能力，学习过程的实质就是对网络权值的调整过程，学习到的知识就分布存储在网络的各个连接权值中。要实现网络权值的有效修正，需要设计网络的训练算法。图3-5为神经网络学习过程。

从流程框图可知，神经网络学习过程是一个不断改善、循环渐进的过程。其中，评价步骤和调整权值步骤最为关键。根据评价标准不同，神经网络的训练算法可分为有监督训练和无监督训练。而改变权值的方法统称为学习算法，当前应用较多的学习算法有：Hebb学习规则、误差修正学习规则和胜者为王学习规则等。

随着神经网络研究的不断深入，网络的学习能力逐步增强，其应用范围也日益拓展，在信息处理、模式识别、智能监测等领域都取得了丰硕的成果。在各类神经网络中，BP神经网络应用最广，本章将简要介绍其工作原理，并应用于风电功率预测领域。