1943年,Warren McCulloch和Walter Pitts[3]创建了一种基于数学和算法的神经网络计算模型。后来,D.O.Hebb 依据神经可塑性的机制创建了一个学习假设,被称为Hebbian学习,这演变成长期增强模型。1948年,这些想法被用于构造图灵的B型机器。
1954,Farley和Clark使用冯·诺依曼结构的计算机模拟Hebbian网络。1956年,Rochester、Holland、Habit和Duda也开始用计算机模拟神经网络。1958年,Rosenblatt创建了一种称为感知器(perceptron)的分类算法。
1959年,Hubel和Wiesel在大脑的视觉皮层中发现了两种类型的细胞:简单细胞和复杂细胞,建立了生物模型。他们获得了1981年的生理和医学诺贝尔奖。
大脑的视觉皮层(cortex)是处理视觉信息的大脑皮层的一部分。来自眼睛的视觉信息通过丘脑的外侧膝状核,然后到达视觉皮层。接收来自丘脑感觉输入的视觉皮层的部分是初级视觉皮层,也称为视觉区域1(V1)和纹状皮层。视觉区域又分为2(V2),3(V3),4(V4)和5(V5)。(www.xing528.com)
1969年,Minsky和Papert提出机器学习。然而,遇到了处理神经网络的计算机器的两个关键瓶颈。首先是基本的感知器(perceptrons)无法处理“异或”电路。第二是当时的计算机没有足够的处理能力(CPU 和内存都不够)有效地对大型神经网络进行运算。研究人员只好集中在使用算法处理高级(符号)的模型,例如,用if-then规则所体现的知识专家系统等方面。
1975年,Werbos提出反向传播(Backpropagation)算法,该算法通过使多层网络的训练能够较好地解决“异或”问题。重新引起了人们对神经网络和学习的兴趣。关键技术是用反向传播修改每个结点的权重,通过层把错误项分发回去。到了20世纪80年代以后,并行计算机越来越成熟,可以用向量模拟神经网络,称为人工神经网络。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
