实用数学方法：神经网络基本原理解析

1. 神经网络的简单原理

神经网络是采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。神经网络是由简单信息处理单元（人工神经元，简称神经元）互联组成的网络，能接受并处理信息。网络的信息处理是由单元之间的相互作用来实现，通过把问题表达成处理单元之间的连接权来处理。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么可以把输入和输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络又根据输入和输出不断地调节自身各节点之间的权值来满足输入和输出。这样，当训练结束后，给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。

2. 神经元和神经网络的结构

粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。

人脑神经元由细胞体、树突和轴突三部分组成，如图9.4.1所示，是一种根须状蔓延物。神经元的中心有一闭点，称为细胞体，它能对接收到的信息进行处理。细胞体周围的纤维有两类：树突与轴突。大多数神经元具有众多的树突，它们呈树状分支，负责接收来自其他神经元的信号，并将其传递给细胞体。轴突是指由细胞体向外伸出的最长的一条分支，相当于细胞的输出电缆，它将信号传输至轴突终末，再把信息传送到其他的神经元。通常把一根根轴突终末与后一个神经元树突的连接部分称为突触，它是神经元之间传递信息的关键部分。

神经元具有兴奋和抑制两种状态，当输入的神经冲动使细胞膜电位升高到阈值时，细胞进入兴奋状态，产生神经冲动，由轴突输出；反之，若输入的神经冲动，未使细胞膜电位达到阈值时，细胞进入抑制状态，没有神经冲动输出。

图9.4.1　人脑神经元结构

由人脑神经元的工作机理，人们构造了人工神经元的数学模型，它是人脑的模拟和简化，如图9.4.2所示。

图9.4.2　神经元的数学模型

图9.4.2中，iw表示神经元对信息ix的感知能力，称为关联权；f(z)称为输出函数或激活函数。常用的三种非线性输出函数的形式如图9.4.3所示，分别称为Sigmoid型（简称S型）、阈值型、伪线性型。

(www.xing528.com)

图9.4.3　常用三种激活函数

一般来说，一个人工神经元有多个输入和一个输出，另外还有一个激活函数，不同的激活函数对应不同的网络，决定着网络的用途。将神经元连接到一起，形成了一个神经元网络，神经网络的基本结构如图9.4.4所示。

图9.4.4　神经网络的基本结构

这个网络有输入层、中间层（隐层）和输出层，各层顺序相连。隐藏层可以是一层，也可以是多层。层数越多，计算结果越精确，但所需的时间也越长，所以实际应用中要根据要求设计网络层数。

神经网络的工作原理大概是这样的：对给定的输入，确定权数iw，使得通过方程计算出来的输出尽可能与实际吻合，这即是学习的过程。学习也称训练，分为有监督（导师）学习和无监督（导师）学习。在有正确输入输出数据条件下调整和确定权数iw的方法称为有监督学习；而在只知输入数据不知输出结果的前提下确定权数iw的方法称为无监督学习。人工神经网络的主要工作就是通过学习，建立模型和确定iw的值。

3. 神经网络的分类

神经网络按照结构、学习方式、功能等的不同有不同的分类。

① 根据神经元之间连接方式的不同，人工神经网络可分为两大类：分层结构与相互连接结构。分层结构的网络有明显的层次，信息的流向由输入层到输出层，构成一大类网络，即前馈网络。而相互连接结构的网络没有明显的层次，任意两个神经元之间都是可达的，具有输出单元到隐层单元或输入单元的反馈连接，这就形成了另一类网络，即反馈网络。

② 根据学习方式不同，神经网络可分为有监督学习网络和无监督学习网络。

③ 根据层次不同，神经网络可分为单层、两层和多层（但一般不超过3层）。

④ 按照网络的性质不同，神经网络可分为确定性神经网络和随机性神经网络。