探究感知机与BP算法的差异与应用

1.感知机

1957年,美国康奈尔大学航空实验室(Cornell Aeronatial Laboratory)的实验心理学家、计算科学家弗兰克·罗森布拉特(Frank Rosenblan)受赫布学习规则的启发,提出了由两层神经元组成的人工神经网络,将其命名为感知器(Perceptron)。他在一台IBM-704计算机上模拟实现了感知器神经网络模型,完成了一些简单的视觉处理任务。

假设定义函数:

该函数便称为感知机。其中,w与b是感知机模型参数,w为权值(N维),b为偏置;sign()函数即符号函数,在x大于0时为正,x小于0时为负,该函数的最大作用是取某个数的符号。感知机(perceptron)是用于二分类的一种线性分类器,是支持向量机(Support Vector Machines,SVM)和神经网络(Neural Network,NN)的基础。

2.BP神经网络

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络。BP网络是在输入层与输出层之间增加若干层(一层或多层)神经元,这些神经元称为隐层,它们与外界没有直接的联系,但其状态的改变,则能影响输入与输出之间的关系,每一层可以有若干个节点,如图2-16所示。

图2-16　BP神经网络结构(www.xing528.com)

BP神经网络的计算过程由正向计算过程和反向计算过程组成。正向传播过程,输入模式从输入层经隐层逐层处理,并转向输出层,每层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转入反向传播,将误差信号沿原来的连接通路返回,通过修改各神经元的权值,使得误差信号最小。

3.BP学习算法

BP学习算法基本思想:学习过程由信号的正向传播(求损失)与误差的反向传播(误差回传)两个过程组成。图2-17所示为BP算法模型示意图。

图2-17　BP算法模型

根据BP算法的基本思想,可以得到BP算法的一般过程:

①正向传播FP(求损失)。在这个过程中,根据输入的样本给定的初始化权重值w和偏置项的值b,计算最终输出值及输出值与实际值之间的损失值。如果损失值不在给定的范围内,则进行反向传播的过程;否则,停止w、b的更新。

②反向传播BP(回传误差)。将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。

由于BP算法是通过传递误差值进行更新求解权重值w和偏置项的值b的,所以BP算法也常常被叫作δ算法。