首先，看一下页面中隐含层部分的方框代表的神经元是什么。
方框中的神经元可以看作对人类大脑神经元的模拟。人类大脑大约有800亿个神经元组成，而早在1904年生物学家就知晓了神经元的组成结构。如图4-10所示，神经元主要由树突、轴突和细胞体组成。树突主要用来接受输入的信息，一个神经元通常具有多个树突和一条轴突，在轴突末端的多个轴突末梢与其他多个神经元的树突产生连接，这个连接的位置被称为“突触”。神经元通过突触与其他神经元相互连，从而实现电信号和化学信号的传递。当每个神经元兴奋时，就会向与其连接的神经元发送化学物质，从而改变了后续这些神经元内的电位。当某个神经元的电位超过了一个阈值时，它同样也会兴奋起来，向其他神经元发送化学物质，人类神秘的大脑就是通过这种看似简单的神经元之间的协作完成各种功能。
图4-10 神经元结构
受到人类神经元内部结构的启发，美国心理学家麦卡洛克（McCulloch W.S.）和数学家皮特斯（Puts W.）二人在1943年提出了第一个人工神经元网络模型MP模型，如图4-11所示，这一模型描述了单个神经元的工作方式，根据外界的若干输入（x1，x2，……，xn），分别乘以权重（w1，w2，……，wn）后累加，再与神经元预设的阈值（也称偏置θ）进行比较，然后经过一个阶跃函数f后输出。MP模型把神经元抽象为一个简单的数学模型，模拟了人类大脑神经元构成和逻辑功能，开创了人工神经网络的研究时代。
图4-11 MP模型
1957年康奈尔大学的弗兰克·罗森布拉特（Frank Rosenblatt）在MP模型基础上设计了感知器（Perceptron）模型，其主要改进之处在于权重（w1，w2，……，wn）可以基于数据进行学习。尽管感知器模型结构非常简单，但其能够基于训练数据进行监督学习，可以解决线性分类问题。(www.xing528.com)
感知器模型可以看作只包含一个神经元的单层人工神经网络。在神经网络游乐场中，取消掉所有隐含层后可以设计一个感知器模型，如图4-12所示，仅采用一个神经元可以完成高斯数据的准确快速分类。但是将分类数据改为异或数据集时，该网络无法进行分类，这也验证了1969年马文·明斯基（Marvin Minsky）和西蒙·派珀特（Simon Papert）提出的感知器模型无法解决不可线性分割的问题，如学习简单的异或函数。
图4-12 神经网络游乐场中的单层感知器模型
在单层感知器基础上发展演化出多层感知器（Multi-Layer Perceptron，简称MLP），如图所示。每个神经元中依然保留非线性函数作为激活函数，实现对输入线性加权和的非线性映射，明显的改变在于具有多个神经元层，层与层之间的神经元全部相互连接，而层内的神经元没有连接。MLP模型的第一层称为输入层，最后一层叫作输出层，两者之间的层称为隐含层。多层感知器可以学习异或函数和其他复杂分类问题。如图4-13所示，采用ReLU激活函数的三层网络可以对异或数据集进行完美划分。
图4-13 神经网络游乐场中的多层感知器模型
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
