神经网络基本模型优化方案

上述所有类型都是从基本结构发展起来的，属于神经网络基本模型，MP型神经网络是最早提出来的前向型神经网络，最基本的MP模型是单层单个神经元MP模型（单神经元），如图4-4所示。

图4-4 MP模型

图中，

x₁，x₂，…，x_i，…，x_n表示输入；

w₁，w₂，…，w_i，…，w_n表示权重，即神经元i与另一神经元j之间连接强度（或称连接权）。因为连接情形不同，权重也不同。由于权重相当于人脑的突触的传递效率，连接权也称突触权。

θ_i表示阈值，相当于细胞膜的电位阈值，升高大于θ时，输出兴奋（1），低于θ时，则输出为抑制（0）。

u_i表示神经元的活跃值，称为神经元状态特性，有

式中 y_i——输出；

f（u_i）——输出激活函数，又称为活化函数、变换函数，以f（·）或f（net）表示，

它决定神经元（节点）的输出，该输出为1或0，取决于其输入之和

大于或小于内部阈值θ_j。

函数f（u_i）一般具有非线性特性。下面示出了几种常见的激发函数。(www.xing528.com)

1）阈值函数（阶跃函数）（见图4-5）

2）非线性斜面函数（见图4-6）

图4-5 阶跃函数

图4-6 斜面函数

Y≥r为一常数，被称为饱和值，为该神经元的最大输出。

3）S形函数（见图4-7）MP模型使用的激活函数，最简单形式为f（u_i）＝1／（1＋exp（－u_i）），函数的饱和值为0和1，S形函数有较好的增益控制。

图4-7 S形函数