探究人工智能中的记忆技术

1．人工智能中的记忆问题

2018年12月12日，斯坦福大学发布AI Index报告。这一报告具有比较重要的价值，能够让我们把握到人工智能领域的发展及其趋势。这一报告至少指出了三个值得研究者关注的地方：（1）机器学习、神经网络和计算机视觉曾经是三大热门方向；（2）相比图像，语言与常识将成为人工智能研究的前沿；（3）AI的人文科学研究对于全世界来说都是薄弱点。第三点非常值得人文学科领域的学者关注。在人文学术日渐萎缩的今天，人工智能超出技术的规定性或许给人文学科复兴带来一种新的可能性。

通常所说的人文学科主要范围较广，包括哲学、历史、文学、哲学、宗教、音乐、艺术等。只是这种说法对人工智能的人文研究探讨没有直接帮助，并不是所有的人文社会科学都与AI领域相关，我们需要从技术发展的脉络中把握到可能的相关性学科，如最为直接相关的伦理学、心灵哲学、社会学，还有较为相关的艺术学。从哲学角度展开更进一步的思考显得非常必要。作为诸多学科的基础，如果我们能够从哲学学科中看到强化的可能性，那么其他人文社会科学的相关研究也就具有了理论基础。本书的考察将继续挖掘智能时代哲学可能的出场方式。一般说来，哲学被看作是“解码人工智能的钥匙”的观念逐渐成形。“钥匙”的比喻观念最初来自牛津大学物理学教授戴维·多伊奇（David Deutsch），后来被国内哲学界接受，如哲学是理解“发展”的信息文明的钥匙（王天恩，2018）。笔者提出了“记忆哲学是解码人工智能及其发展的钥匙”（杨庆峰，2018）。

在“钥匙比喻”的基础上继续反思，能够给予哲学在人工智能问题讨论中更为扎实的根基，也能够厘清哲学在智能时代的出场方式。本书选取角度是记忆研究。在以前的研究中，笔者指出记忆是古老的哲学问题，但是逐渐被哲学自身淡忘，继而转变为心理学的问题（杨庆峰，2017；2018）。为了更好地展开分析，我们从人工智能的四种讨论方式入手分析。这四种讨论方式是：语言学讨论、功能性讨论、行为性讨论和结构性讨论。

首先是语义学的讨论中通常会将智能与能力等同起来，记忆被看作是诸多能力之一。在语义学的讨论中，智能则体现为人工智能系统的诸多能力，人工智能也被定义为让机器模仿人类智能思考或行为就成为比较普遍接受的定义。在能力的划分上，就可以区分为基本能力和高级能力。在18世纪的哲学人类学的视野中，基础能力常常体现为与五种感官有关系的能力，如视觉、听觉、触觉、味觉和嗅觉。还有一种是与对运动物体把握的基本能力，这种感觉能力直到20世纪初才被揭示出来。高级能力通常是被看作是与理性和情感有关系的诸多能力。前者如理解、判断、推理，后者如各类情感。记忆通常被看作是重要的基本能力之一，因为它是人类感觉滞留的结果，除此以外，记忆又被看作是人类思考、决策和行动的基础。这种认识被普遍接受。美国纽约大学教授杨立坤（Yann LeCun）指出：“智能和常识等于知觉＋预测模式＋记忆＋推理和规划。”他指出了预测学习的最主要的任务是从提供的数据信息出发预测过去、现在和未来的一部分。一是并没有把握到记忆的关键本质，即它是作为上述现象得以存在和呈现的前提和条件。二是忽略了遗忘的重要作用。神经科学的最新成果开始揭示出遗忘在思考、决策和行动中的作用。另外，在不同智能体记忆能力的揭示中，很多让人惊叹的观点被揭示出来。如最近的一项研究成果显示：人工智能体在进行空间记忆的时候呈现出与人类和动物生物体类似的神经元结构。这一结论让我们需要注意和思考机器智能、人类智能和动物智能之间的相似性。还有在智能体的讨论中，与记忆有关的经历会成为一个重要问题。当我们讨论机器是否具有记忆问题的时候，这不仅仅是语言分析问题，也不仅仅是功能实现问题，而是关系到机器能否超越人类的前提性问题。

其次是智能体的功能性讨论中更加突出了人工智能是基于某种特定结构或机制要实现的功能表达，记忆被看作是构成上述特定结构或者增强特定结构及机制的重要因素之一。如中国科学院陈霖院士指出人工智能的核心基础科学问题是认知和计算。而记忆是认知层次构成的重要成分。同样身为院士的清华大学张跋教授指出人工智能的趋势是基于知识和数据的AI系统。而构成这两种能力的基础是记忆，对历史数据进行解读的基础上进行的决策和行动。在杨立坤看来，循环网络不能进行长期记忆、需要一个单独的“海马体”（记忆模块）。在神经网络能力的增强上，记忆模块具有不可忽视的作用。这些观点都显示了人工智能中记忆概念的必要性。只是在不同的能力揭示中，有着不同的记忆定义。比如与感知能力有关的记忆理解中，记忆表现为信息的存储和提取；而在认知的范畴中，记忆信息成为认知得以可能的前提条件。在决策范畴中，记忆主要表现为有效信息的提取，遗忘表现为无效信息的筛选和忽略。在讨论到机器持续学习的功能的时候，德国科学家张建伟提到了“机器自身的记忆发展”。

第三，在智能体的行为性讨论中，行为会表现为至少四种相关模式，而记忆在这些模式中的作用是不可忽视的。根据现象学方法，我们可以把行为相关模式划分为意识主体—行为模式、语境—行为模式、环境—行为模式以及智能体—行为模式。智能体—行为模式通常可以被看作是准主体—行为模式，因为它具有与主体—行为模式相类似的结构。意识—行为模式强调的是行为基于某种意识目的主导的结果，在这一概念框架中，那么行动需要的不仅仅是感知、计算和判断，还有在学习过程中积累的经验；而语境—行为模式则强调行为背后的社会—文化—政治等因素，它不同于纯粹客观的环境因素。如果以语境—行为作为概念框架，那么行为是出于特定的语境的，而这种语境的确立则吸取了机器的经验；环境—行为模式主要强调环境对于某种特定行为产生的作用，也强调行为是对某种特定环境做出的反应；智能体—行为模式则强调功能体的行为是对于认为设计场景环境做出的反应，那么行动强调的是对环境做出反应。这四种模式都需要记忆作为前提，在这些行为的事实过程中，保留过去学习的经验有助于持续性学习和预测性学习。

第四，在结构性讨论中，我们更关注智能体—人类的统一体，而问题主要集中在智能体对于人类记忆的影响讨论上。当我们进入到人与智能体构成的智能系统时，这一问题远远超出了硬件，而是包含着更加复杂的人文维度。比如人工智能对于人类自身记忆的影响。在世界顶尖科学家论坛上，科学家讨论人工智能话题的时候，注意到这一问题。在那个世界有名的“桌布”上，至少有两位科学家提到了AI对于人类记忆的影响，比如人类记忆的增强和提升。

以上主要是探讨了对人工智能进行哲学研究的方法，记忆研究相比认知哲学更具宽广度和可能性。对于人工智能而言，认知哲学仅仅局限在AI的认知功能上，而记忆研究则不同。一方面，记忆是哲学的古老问题，具有本体意义，只是被认识论—知识论的传统完全遮蔽，我们以往的研究已经揭示出记忆并不是认知的附属物，也不仅仅表现为相比认知略低一等的心灵能力，而是有着更为重要的本体论地位：记忆作为三种条件形式存在：认知与情感的基础条件、理解人类自身的历史条件和实现自我和他者认同的条件；另一方面，人工智能的发展越来越显示出记忆因素内在的不可或缺性，记忆在人工智能的认知活动、功能呈现、行为表达和结构形成中表现出其特有的作用来，而这些都有待于进一步的深入研究。正如张跋院士指出的，脑科学中有记忆机制，值得设计AI系统的人员去注意和学习。

2．智能体的记忆维度

目前人工智能及其伦理问题的讨论逐渐聚焦在智能体的概念上。澄清智能体的构成维度有助于推进人工智能的哲学反思，也能够为AI设计提供哲学根基。在智能体的讨论上，学术界已经挖掘出了两个主要维度，一是道德维度即道德智能体（moral agent），这已成为AI伦理讨论的基础概念；二是理性维度即理性智能体（rational agent），这是AI科学理解的内核概念。事实上，从道德智能体出发，我们还可以拓展AI智能体构成的其他维度，如情感维度。当我们回到伦理学史和流派来看，会发现“道德源自情感”的一种理论。在他们看来，道德源自情感。这一理论不仅澄清了道德的情感基础，更为我们探讨智能体的第三维度提供了理论源头。情感智能体（emotional agent）作为智能体构成的第三维度被呈现出来。另外，还可以从情感智能体中推演出第四维度——记忆。这四个维度分别共同构成了智能体的四重维度。

第一个维度是理性维度即理性智能体（rational agent）。这一维度呈现的是人工智能体与认知和计算有关的能力。从狭义的角度又可以把它称之为计算智能体（computational agent）和认知智能体（cognitive agent）。对于这一点可以在人工智能的科学理解中找到充分的根据。美国AI科学家斯图尔特·罗素（Stuart J．Russell）指出，人工智能是理性主体（rational agent）。在他看来，智能主要与理性行动有关，一个智能能动体在一个情景中采取最好可能的行动。在加拿大AI科学家戴维·颇尔（David L．Poole）看来，人工智能就是研究能够产生智能行为的计算智能体的综合与分析领域。上述观点也在得到了国内人工智能专家的赞同。在清华大学张跋院士看来，人工智能研究重要的是让机器智能体实现三件事情：思考／决策、感知、行动。这一观点为AI伦理确立了智能体这样一个重要理论基础。

第二个维度是伦理维度即道德智能体（moral agent）。道德智能体主要讨论智能体是否具有道德意识、能否做出道德判断、能否具有道德情感以及能否产生道德调节作用。前三者还是在道德主体框架下展开的反思，道德意识、道德判断和道德情感均属于形而上学层面的问题域。而道德的调节作用已经延续了后现象学调节理论的路径，重在探讨智能体与人类道德行为构成的问题。在实践层面主要表现为与设计相关的路径，比如通过将道德伦理观念嵌入到人工智能体的设计之中，从而让智能体产生到道德化的行为或者引导人类产生道德行为。但是，道德智能体的意义在一定程度上低估了。因为在这一维度之中隐藏着其他维度，如情感维度。返回到哲学史，我们会发现很多哲学家论述了道德源自情感的观念。从近代哲学看，这一理论重要的代表人物是英国哲学家休谟和弗兰西斯·哈奇森；从当代哲学看，胡塞尔是典型的代表。他已经论述了“道德概念是以情感或者情绪的意识为基础”和“伦理态度是情感的表达”这样的观点。当然，他也在伦理与感情的关系上划出了一个界限：如果道德完全基于情绪，那么会产生两个不利的结果。一是道德完全成为主观性的东西了；二是情感的起伏变化无法为价值判断和道德提供正当基础。在二者基础上，一个基本的观点变得明晰起来：伦理道德可以在情感或者情绪基础上发展出来。(www.xing528.com)

如此，我们对道德智能体的理论分析就引导出情感智能体（affective agent）的概念，这构成了AI智能体的第三维度。情感智能体强调让AI去理解人类感情，以及产生能够表达人类可理解感情的行为。相比上面两个维度，感情性维度与AI伦理的讨论的关系显得异常薄弱。事实上，理性维度和伦理维度只是在显性层面上为AI伦理的讨论奠定了基础，而情感维度则从隐性层面为AI奠定了更为扎实的基础。情感智能体能够为我们解释AI与人类生命的关联提供很好的反思基础。

那么如何看待这三个维度之间的关系呢？对于人类而言，存在理性、道德和情感的关系。理性和情感是对立的范畴这一观点异常成熟。在情感与道德的关系上，如果我们接受现象学的观念，那么情感则成为道德的生成基础和逻辑基础。但是对于人工智能体而言，这种关系显然变得完全不同。从AI的科学定义来看，更加强调计算和认知维度。计算和认知是最基础的维度，体现了智能体的计算和学习机制，在这一基础上展现出感知、决策和行动的类人行为。而就道德维度而言，这更多是多数伦理学家、哲学家基于人类中心立场而采取的看法，希望人工智能表达出价值判断、道德评价或者作出道德行为。在诸多立场中，维贝克的后现象学路径因为其可操作性而备受关注，通过设计来嵌入道德价值。相比之下，情感维度是尚未成熟起来的维度。在诸多的AI情感讨论中，情感被纳入计算主义中，成为可计算的形式。这种做法仅仅看到了情感作为的实体性规定，而忽略了内在表达和外在表征的方面。

另外，情感智能体概念并不是分析的终点，从中还可以推演出智能体的第四维度——记忆。从英国哲学家罗素的观点看，熟悉感和认识是我们走向真实记忆的必然碰到的问题。所以，对于人类自身而言，有着一条从熟悉感和认识出发，走向记忆的演化之路。就人工智能发展而言，我们也能看到隐隐相似的地方。众所周知，理性智能体的维度变得非常成熟。AI在数据存储和提取方面有了极大提升，发展出强大的计算的感知和认知能力，显示出一定的因果推理能力。尽管如此，依然难以解决长期记忆、情景记忆的问题，更难以避免深度学习中的灾难性遗忘问题。面对这些问题，一些AI科学家提出“记忆优于知识”“为人工智能增加点记忆”等观点。但是，由于对与AI有关的亲近感、熟悉感没有揭示出来，再加上在记忆这一端点上，由于记忆附属论观念的限制，AI智能体讨论的意义依然显得不明确。幸运的是，现象学家无疑给予了我们更深刻的洞见，在伽达默尔看来，生命拥有了记忆才变得更加丰富；在利科看来，在记忆和遗忘之下是生命。所以通过他们的记忆哲学为我们进一步拓展了出AI智能体的第四维度，并且能够看清楚AI智能体最终指向生命的本质所在。

3．深度学习与记忆问题

2019年的图灵奖被授予了深度学习领域的三位学者：约书亚·本吉奥（Yoshua Bengio）、杰弗里·辛顿（Geoffrey Hinton）和杨立昆（Yann LeCun）。此次授奖中有两个细节值得关注：一是加拿大脱颖而出；二是深度学习将解决人工智能记忆问题作为一个重要指向。这是为什么？我们想从科学史的角度来对这一现象做出解释。

人工智能记忆问题主要包含三个维度：一是实现智能体的记忆能力，如让智能体保持有用信息的能力、无用信息的屏蔽能力。这是技术层面与神经科学有关的记忆维度；二是实现智能体的持续性学习和记忆能力，这是机器持续性学习的保障，同时包括通用人工智能发展必须面对的灾难性遗忘问题；三是实现智能体的记忆进化能力，这是指人工智能如同生物体一样具有遗传进化能力，从最基础的感知进化到初级智能。记忆问题已经成为制约人工智能本身发展，甚至人工智能体道德问题讨论的前提。

以加拿大为主导的深度学习的崛起有其学术史的必然性。此次获奖的三位学者中本吉奥、辛顿这两位分别是加拿大蒙特利尔大学教授和多伦多大学教授。我们知道深度学习的根基是神经网络。在20世纪40年代，加拿大逐步形成了将神经科学与心理学融合的学术传统。这一传统的起点是麦肯吉尔大学的唐纳德·赫伯。1949年，赫伯出版了《行为的组织》（The Organization of Behavior），这本书着重阐述了意识行为的神经基质，提出了基础命题“学习是神经元的联结”等观点，即神经突触可塑理论。这就是著名的“赫伯命题”，后来成为神经科学发展的基础。20世纪50年代他的学生在蒙特利尔大学任教的布兰德·米勒从赫伯的观念出发对记忆问题进行了深入研究，提出“记忆存储在海马体”的观点。

所以在人工智能上，本吉奥引入的注意力机制、辛顿和杨立昆改进了卷积神经网络的记忆能力。尤其是注意力机制引入来解决记忆问题在康德在《实用人类学》中找到根据。康德将记忆看作是注意力集中的结果，而将遗忘看作是注意力减弱的结果。

我们可以从反思实验心理学的历史中找到印记。1942年法国现象学家梅洛·庞蒂出版的《行为的结构》一书深入反思实验心理学乃至行为主义对人类行为问题回答的不足。梅洛·庞蒂在书中指出：“理解意识与有机的、心理的甚至社会的、自然的关系。”但是这一反思从哲学角度反思了还原论和原子主义的解释，超越了行为主义，把意识作为结构建立起来。“机体是结构性的独特实在性……面对的是一系列的‘氛围’‘环境’”，记忆世界就是一系列世界中的一种样式。机体的行为是具有某种某种内在统一性的姿势。如此，他阐述了意识与机体之间现象学关联。这种方式让他完全忽略了意识行为的物质基质。不过他让我们不得不注意到当时世界实验心理学的情况。

但是对实验心理学实质性的不满来自在加拿大，其代表人物受赫伯的影响，1990年前后，MIT科学家利根川进、中国科学家蒲慕明都从神经元印痕细胞的角度对记忆现象做出了比较深入的阐述。相比之下，他们借助更为先进的光遗传技术将记忆研究推进了一步。

现在看来，在20世纪60年代以后，加拿大在神经科学与心理学的融合研究上早已先行，而二者融合的突破点恰恰是从记忆问题入手的。这一古老的哲学问题在今天表现为心理学、生物学和医学的交叉问题。他们从神经科学与心理学的结合对记忆问题展开了比较深入的研究。面对人工智能的迅猛发展，加拿大人也将人工智能领域作为他们追赶而上的一个支点，只是他们没有走技术应用，而是指向了基础理论的突破。他们将人工智能与上述融合研究的传统相结合，这也就是我们所看到的，他们借助赫伯等人确立的神经元传统，再结合心理学的传统，他们敏锐地捕捉到人工智能神经网络必须要解决记忆问题。所以，神经网络的发展意味着人工智能出现了“记忆指向”。在我国，有一些学者敏锐地抓住了这一点，李德毅院士提出的人工智能发展过程中出现“记忆优于知识”；华为的李航“人工智能的趋势是长期记忆”等观点。只是在重数据与认知的“人工智能”传统中，这一点的意义才刚刚显示出来。

从哲学上看，人工智能记忆问题的提出并不是仅仅指向智能体对记忆信息的获取、编码、存储和提取，这是技术层面所要考虑的问题。很显然，深度学习范式在一定程度上解决了记忆问题。其意义在于是将一个曾经的哲学问题暴露出来：智能与记忆的关系问题。在记忆观念史中，记忆与智能被看作是灵魂力量的重要部分构成。但是，正如我们看到的，哲学自身的认识论传统以及人工智能的“智能—认知”传统不断将记忆掩盖。认识论通过将记忆贬为认识与认知的附属物从行为上实现了对记忆的第一次掩盖；其后“人工智能”则通过数据—认知从功能上实现了对记忆第二次被掩盖。幸运的是，时隔多年，深度学习领域在今天的被肯定则是通过记忆现象捅破了隔离人工智能与哲学领域的窗户纸。