时滞神经网络的理论和模型简析

神经网络（或称人工神经网络）源于对大脑工作机制的研究.文献[3]中提出将大脑看作一个复杂和非线性的并行信息处理系统，并引入了神经元作为大脑工作的基本单元这一概念.与现在的计算机比较，从单位个体来看，神经元的处理速度仅为硅逻辑门的，但是大脑通过突触将大量的神经元连接，其处理能力高出现在计算机109倍.基于这种观点，科学家们提出了一种利用网络模型来描述大脑和神经系统工作的机制，这便是神经网络.简而言之，它将大量简单的计算个体连接起来完成特定的计算工作.由此可见，神经网络的本质是一种计算网络，网络性是其重要的特征.

与计算机等信息处理系统相比，神经网络有如下的特点：简单的基本处理单位（神经元），海量的神经元和复杂的连接结构.其中最重要的是学习能力.在文献[4]中，将学习定义为：神经网络通过一个连续的仿真过程，从环境中调整其参数.神经网络的学习方法主要有以下这些：误差纠正学习（error-correction learning）、Hebbian学习（[5]）、竞争学习（competitive learning[6]）、Boltzmann学习（[7]），等等.

Aleksander&Morton（1990）提出了一个神经网络的定义（[8]）：神经网络是一种大规模并行分布处理系统，能获得并运用知识，满足：

（1）知识是通过学习来获得的（这个过程称为学习算法）；

（2）知识是由相互联结的权重（weight）来存储的.

因为神经网络具有诸多优点：可解决非线性问题，自适应性、容错性和海量计算能力，所以自从20世纪五六十年代开始，神经网络的研究至今热潮不减.

Hecht-Nielsen（1987）和Cybenko（1988&1989）提出多层神经网络感知器模型可以逼近任意连续函数（[9，10，11]）.Chen（1990）（参见[12]）第一个给出了一个构造性的证明，揭示了其本质.Chen（1993，1995a&1995b）指出多层神经网络不仅可以逼近任意多变量连续函数，还可以逼近任意非线性泛函以及算子（参见[13，14，15]），其模型可以用下式表达：

这些工作为神经网络的应用奠定了理论基础.近年来，深度神经网络与深度学习的热潮大大促进了人工智能的发展.但从本质上来说，深度网络仍然包含在多层感知器网络的框架之内.

Cohen&Grossberg（1983&1988）提出了竞争-合作模型，用以产生自组织、自适应的神经网络构成方式（[6，16]）.Cohen-Grossberg神经网络可由如下常微分方程描述：

Hop field（1984，1986）利用能量函数发展出一套利用递归网络实现计算的方法（[17，18]）.这种模型被称为Hopfield神经网络：

正如Haykin（1994）指出，无论哪种模型，神经网络可以看成一类包含非线性的信号流图（signal-flow graph）（参见[19]）.

图1.1　神经网络可看作一类非线性信号流图(www.xing528.com)

如图1.1所示：xi描述节点i的状态，yi=φi（xi）是节点i的输出，这里φi（·）是一类非线性函数（transfer function），节点j输出对节点i的权重为tij，Ii是外界的输入.从这个意义上讲，神经网络可以看作一类非线性动力学网络系统.由神经网络发展出的神经计算方法是一种基于学习的自适应的分布式计算方法.它在优化、控制、信号处理、图像处理、模式识别和联想记忆等诸多方面有广泛的应用，而且又具有容错性好、海量计算能力、学习能力强和自适应性等优点.学习算法的关键在于神经网络收敛到某一需要的流形上，所以神经网络的动力学形态是算法能否成功的关键，对其动力学形态的研究是神经网络应用和设计的第一步.

在实践中，由于放大器的切换速度和神经元之间的通讯速度有限，时滞不可避免.另外，在动态图像处理中，神经元之间信号传输时滞是必要的（[20]）.具有时滞的神经网络系统的动力学行为更为复杂.如下时滞微分方程用于描述具有时滞的神经网络动力系统：

这里bij代表神经元j到神经元i的时滞反馈，τij表示此传输时滞的大小.当时滞信号和无时滞（瞬时）信号的神经激发函数相同，即fj=gj，j=1，…，n时，此模型变为

可见，细胞神经网络（cellular neural networks，[21，22]）可视为此模型的特例（激发函数取为饱和函数）.如果时滞全都一样，即τij=τ，此模型有如下形式：

须指出，时滞Cohen-Grossberg神经网络可描述为

在现实世界的时滞神经网络中，自抑制、突触连接权重以及外部输入都有可能随时间变化，对其动力学行为的研究尤为重要.由此，在文献[23]，我们提出了如下一般形式的时滞神经网络模型：

此处，ds Kij（t，s），i，j=1，…，n是关于变量s的Lebesgue-Stieltjes测度，用以描述时滞项.例如，当时（这里δa（b）是以a为中心的Dirac-Delta广义函数），此方程就变为方程（1.2）了.关于此模型的更多细节将会在之后各章中详述.

在本书中，我们将详细阐述时滞递归神经网络系统的稳定性理论和分析方法.首先，我们考虑一般性的模型，包含Hop field神经网络、Cohen-Grossberg神经网络、细胞神经网络.不仅考虑连续性的激发函数，还研究具有不连续激发函数的情形.本书的目的不仅给出目前关于此问题的一些结果，更重要的是通过这些结果展示一系列具有一定特色的分析方法，包括轨道有限长度方法、Hanalay不等式的推广、Filippov方法以及μ-稳定性方法.我们认为，这些方法不仅可用于时滞神经网络动力学渐近行为分析，更能为其他时滞动力系统模型的分析提供方法论支持.

此类问题框架常常被分为两部分.一是静态解轨道的存在性，比如平衡点、周期轨道、概周期轨道等.现有工作基本上通过同调原理来处理.在本书中，我们将介绍一些不同的分析方法.比如，通过证明轨道的有界性，利用柯西序列性质来同时证明平衡点存在性和全局稳定性（3.1节）；系统周期解和概周期解视为任意解轨道的簇点（4.3节）.二是此轨道的稳定性.我们采用Lyapunov和Lyapunov-Krasovskii稳定性理论方法，但着重于稳定判据可验证性.比如，利用线性矩阵不等式构建稳定性判据（3.1节）；细致讨论不同类型Lyapunov-Krasovskii泛函给出判据之间的关系（9.5节）.除此之外，我们还发展和推广了Hanalay不等式，用以处理时变系数和小时滞的情形（4.1节）；建立μ-稳定性理论处理无界时滞的情形，揭示时滞增长速率与收敛速度的关系.这些结果来自我们多年在此领域的研究成果，可参看各章节的参考文献.