人工神经网络简介

人工神经网络是为模拟人脑神经网络而设计的一种计算模型，它从结构、实现机理和功能上模拟人脑神经网络。人工神经网络与生物神经元类似，由多个节点(人工神经元)互相连接而成，可以用来对数据之间的复杂关系进行建模。不同节点之间的连接被赋予了不同的权重，每个权重代表一个节点对另一个节点的影响大小。每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值(兴奋或抑制)。从系统观点看，人工神经网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统[8]。

1943年，心理学家McCulloch和数学家Pitts根据生物神经元的结构，提出了一种非常简单的神经元模型——MP神经元。现代神经网络中的神经元和MP神经元的结构并无太多变化，不同的是，MP神经元中的激活函数f为0或1的阶跃函数，而现代神经元中的激活函数通常要求是连续可导的函数，如图7－6所示。

图7－6　典型的神经元结构

假设一个神经元接收d个输入x1，x2，…，xd，令向量x＝[x1，x2，…，xd]来表示这组输入，并用净输入z∈R表示一个神经元所获得的净输入信号x的加权和:

式中:θj为神经元j的阈值；wij为神经元i～j的突触连接系数或权重值；f()为神经元激活函数(活之函数、转移函数)。

令

设wij＝－1，x0＝θj，则(www.xing528.com)

激活函数的作用是将非线性引入神经元的输出。因为大多数现实世界的数据都是非线性的，所以希望神经元能够用学习非线性的函数表示，因此这种应用至关重要。神经元的各种不同模型的主要区别在于采用了不同的激活函数，从而使神经元具有不同的信息处理特性。激活函数反映了神经元输出与其激活状态之间的关系，每个(非线性)激活函数都接收一个数字，并进行特定、固定的数学计算。在实践中，可能会碰到以下几种激活函数。

(1)Sigmoid(S型激活函数):输入一个实值，输出一个0～1间的值σ(x)＝1/(1＋exp(－x))。

(2)tanh(双曲正切函数):输入一个实值，输出一个[－1，1]间的值tanh(x)＝2σ(2x)－1。

(3)ReLU:ReLU代表修正线性单元。输出一个实值，并设定0的阈值(函数会将负值变为0)f(x)＝max(0，x)。

图7－7表示了上述的三种激活函数。

图7－7　激活函数

(a)Sigmoid；(b)tanh；(c)ReLU