感知器和多层神经网络学习算法

1958年，美国学者Frank Rosenblatt首次定义了一个具有单层计算单元的神经网络结构——感知器(perceptron)。感知器由两层神经元组成，其中，输入层接受外界输入信号后传递给输出层，输出层是M-P神经元。感知器是最早具有机器学习思想的神经网络，但是只有输出层神经元为功能神经元，能够进行激活函数处理，学习能力有限，无法扩展到多层神经网络上，又称单层感知器。为了解决非线性可分问题，通常在输出层与输入层之间增加隐藏层，构成多层神经网络，其中隐藏层和输出层神经元都是拥有激活函数的功能神经元。

不同的网络拓扑结构构成不同的网络模型，主要包括三种类型，如图4-3所示。

图4-3　三种典型的神经网络模型

一、前馈神经网络(www.xing528.com)

前馈神经网络(feedforward neural netwrok，FNN)中，信息的流向从输入层到各隐藏层再到输出层，输入层神经元仅接收外界输入，隐藏层与输出层神经元对信息进行加工，最终结果由输出层神经元输出。每层神经元与下一层神经元全互连，神经元之间不存在同层连接和跨层连接。除输出层外，任一层的输出是下一层的输入，信息处理具有逐层传递的方向性，一般不存在反馈环路，可以用一个有向无环图来表示。这样的网络结构也被称为多层前馈网络(multi-layer feedforward neural networks)或者多层感知器(multi-layer perceptron，MLP)。前馈神经网络包括全连接神经网络和卷积神经网络等。

二、反馈神经网络

反馈神经网络也叫做记忆网络，网络中的神经元不但可以接收其它神经元的信息，也接收自己的历史信息。与前馈网络相比，反馈网络的神经元具有记忆功能，网络中的信息传递可以是单向或者双向传递，如循环神经网络、Hopfield网络、玻尔兹曼机、受限玻尔兹曼机等。

三、图神经网络

前馈网络和反馈网络的输入为向量或者向量序列，但是实际应用中很多数据属于图结构数据，如知识图谱、社交网络等，图神经网络就是定义在图结构数据上的神经网络，图中每个节点由一个或者一组神经元构成，节点之间的连接可以是有向的，也可以是无向的，每个节点可以接收来自相邻节点或者自身的信息。图神经网络包括图卷积网络、图注意力网络等。