深度学习算法的国内外研究进展

1.国外研究进展

研究深度学习，要追溯到20世纪40年代初。McCulloch 和Pitts 受到人类神经系统的启发，提出了人工神经元的雏形。它由大量的节点（神经元）相互连接构成，每个节点代表一种特定的输出函数（激励函数），节点之间的连接代表通过该连接信号的加权值（权重），网络的输出取决于网络的连接方式、权重和激励函数，如图4-1所示。

图4-1　人工神经网络基本结构

然而，人们很快发现这种单层感知机模型始终无法解决简单的异或问题，且当时的算力也无法支撑庞大的计算量，神经网络进入第一个低潮期。1986年，反向传播算法（BP）因成功解决异或问题，引发了神经网络的第二次热潮。但在20世纪90年代初期，BP 算法被指出存在梯度消失、局部最优和过拟合等问题，神经网络的热潮逐渐趋冷。而此时，统计学习方法快速发展，支持向量机（SVM）在线性分类问题上表现突出，AdaBoost、随机森林能够很好地抑制过拟合问题，Kernel SVM 成功解决了非线性分类问题，这些成果使神经网络更加陷入无人问津的境地。直至2006年，Hinton 等提出了梯度消失问题的解决方案，拉开了深度学习的帷幕，深度学习进入快速发展期。2012年，Hinton 课题组构建的AlexNet，首次使用ReLU 激活函数，解决了梯度消失问题，并添加Dropout 层以减小过拟合，最终在ImageNet 图像识别比赛中一举夺冠，在分类性能上碾压了基于统计模型的参赛系统。此后，卷积神经网络、循环神经网络和进化神经网络等模型不断涌现，逐步打开了人工智能新世界的大门。它们不仅在模式识别、信息检索、自然语言处理等多个人工智能领域取得了重大突破，还可以对复杂模式进行分类，在决策问题中产生了巨大影响。

深度学习的迅速发展对于军事领域解决战场大数据处理问题提供了潜在的技术支持。美国国防部先进项目研究局（DARPA）一直将包括机器学习在内的人工智能技术作为重点发展的基础研究和应用开发领域，用于应对爆炸式增长的侦察情报监视数据。2007年提出的“深绿”计划试图仿照IBM“深蓝”机器人模式，实现“从数据到评估再到决策”的自主辅助决策系统，“深绿”所追求的理想效果是：只要能提供我方、友方和敌方的兵力数据与可预期的计划，推演就会很精确，就可以帮助旅一级甚至更高层指挥人员做出正确决策。“深绿”由四大部分组成：第一部分叫指挥人员助手，实质是人机接口；第二部分叫“闪电战”，实质是模拟仿真；第三部分叫“水晶球”，相当于系统总控，完成战场态势融合和分析评估；第四部分是“深绿”与指挥系统的接口。然而由于计算机对战场数据的理解处理能力还远远达不到人的认知水平，“深绿”计划遇到了大数据智能处理方面的瓶颈。基于此，DARPA 于2008年11月又启动了Machine Reading 项目，旨在在实现人工智能的应用和发展学习系统的过程中，对自然文本进行知识插入；2009年DARPA 进一步启动了Deep Learning 研究计划，该项目尝试采用深度学习方法，从战场获取的大量无标签的声音、视频、传感器和文本数据中抽取更多隐藏的有用特征，并将其用于模式识别和特征分类、挖掘关联关系、监测异常、描述事件的时间关系等。2010年3月，美军还启动了Mind's Eye 项目，旨在为机器建立视觉的智能，对视频信息进行形象推理；同年，启动Insight 研究项目，针对目前情报、监视和侦察系统的不足，对图像和非图像传感器数据进行自动化人机集成推理，可提前预知和分析对时间敏感的潜在威胁。2012年3月，DARPA 开始实施的XDATA计划，旨在开发用于分析大量半结构化和非结构化数据的计算技术与软件工具，同年，启动DEFT（deep exploration and filtering of text）项目，更加明确地提出要利用深度学习技术发掘大量结构化文本中隐含的、有实际价值的特征信息，同时还要具备可将处理后的这些信息进行进一步整合的能力，在此基础上，将这些技术用于作战评估、规划、预测的辅助决策支持中。2013年启动的PPAML（probabilistic programming for advance machine learning）项目致力于构建智能学习机器，使其能从不确定的信息中理解数据、分析结果、推理关联关系。(www.xing528.com)

“深度学习”技术的突破引发了机器智能技术的飞速发展，在大数据和新型高速并行计算平台的支撑下，仅用了短短10年，就已在图像与语音识别理解、自然语言处理等感知智能的诸多领域达到甚至超过人类水平。Google X 具备了初步的概念抽象能力，已经可以读取图像并转为抽象概念；IBM 的“沃森”通过将大数据与深度学习技术相结合，获得了更强的数据分析与挖掘能力，在某些领域（如特定疾病诊疗、商业智能等方面）已经达到人类顶级专家的认知水平。此外，在新闻自动发掘与稿件撰写、视频游戏自主学习等诸多原本主要依靠人类经验直觉的领域，机器认知智能水平也开始达到甚至超过人类，而且在某些方面开始具备类似人类“举一反三”的小样本概念学习能力。尤其是2016年3月，谷歌的人工智能程序AlphaGo 战胜韩国世界冠军李世石，使人工智能的发展进入挑战人类最顶尖大脑的地步。AlphaGo 代表了人工智能在基于神经网络的机器学习、高性能计算和大数据技术等领域的最新成就。AlphaGo 充分借鉴了人类棋手的下棋模式，用策略网络来模拟人类的直觉棋感，用价值网络来模拟人类对盘面的综合评估，同时运用蒙特卡罗树搜索将策略网络和价值网络融合起来，模拟人类棋手深思熟虑的搜索过程，同时结合大量的自我博弈结果验证，实现对复杂围棋盘面的智能化认知判断。这一体系结构和设计理念与“深绿”计划极其相似：AlphaGo 的蒙特卡罗搜索树相当于“深绿”计划中的“水晶球”，实现决策总控；策略网络+ 自我博弈，相当于“深绿”计划中的“闪电战”，实现多次快速仿真；而AlphaGo 的价值网络相当于“深绿”中的体系评估，实现对态势的判断；AlphaGo 的48 通道围棋盘面输入相当于“深绿”中的草图模块，实现人机接口设计。因此，AlphaGo 对于军事指挥信息系统智能化的发展具有很好的借鉴意义，尤其是当谷歌公司宣布将这一方法应用于与人类战争更加相近的即时战略类游戏“星际争霸Ⅱ”时，使人们看到了指挥信息智能化突破的曙光。如果这一目标真能达成并将相关技术转入军用领域，意味着美军未来将在军用信息系统建设方面跨入智能化时代，势必进一步巩固和扩大其军事领域的领先优势，使对手在未来作战中处于非常不利的境地。

从深度学习的特点和优势可以看出，它可为研究解决大数据问题提供有效的方法手段，同时，深度学习所具有的深层、复杂网络结构也使得其在学习训练过程中需要足够多、足够有效的大数据支持，因此，深度学习与大数据具有不可分割的必然联系，利用深度学习方法研究解决的问题也一定是大数据问题。目前，深度学习不仅在基于大数据的语音识别、图像处理、视觉处理、自然语言处理等方面取得了突破性进展，更在自动驾驶、电脑游戏、围棋等基于大数据且强烈依赖态势感知和评估的领域展现出超强的能力。

2.国内研究进展

在国内，关于“深度学习”在军事领域中的应用研究也开始得到重视。有专家呼吁在国家层面建立“中国大脑”，并建议军方参与，引起了广泛的关注和积极的回应。国内相关单位也逐步开展了关于这方面的研究工作：李春林、黄月江等将“深度学习”方法引入网络安全方面的入侵检测技术中，提出一种基于“深度学习”的网络入侵检测方法，使用了大量无标签的数据，明显改善了检测算法的误检率；孙志军等采用基于深度学习的边际Fisher 分析特征提取算法，提高了雷达识别目标的准确率；周长建等采用深度学习的方法在军事网络态势感知方面做了有益的探索；张乐等研究了基于自编码神经网络的装备体系评估指标约简方法，在最大限度保存信息不丢失的情况下实现了评估指标集的约简化，降低了后续作战效能评估的计算复杂度；刘忠采用深度学习技术来开展以语义为基础的智能指挥控制方法研究，目标是设计出基于语义的态势分析计划和挖掘生成方案。

目前，深度学习也被越来越多地应用于方案的评估与筹划中。利用深度学习神经网络具有的能逼近任意非线性系统的优势，通过已知数据构建模型，实现模型对位置数据的模式识别，达到评估作战方案的目的，为研究方案评估提供一种新的方法。方案的效能评估牵涉各种特性迥异、重要性程度各不相同的力量及运用，这为引入神经网络解决问题提供了条件。王静岩等通过对合成旅作战过程中主要因素的分析，建立了较为完备的作战指标评估体系和作战方案评估模型。针对作战方案评估，提出基于RPROP 和基于神经网络集成的两种作战方案评估方法，从而降低了评价过程中人为因素的影响。高桂清等构建了一般的机动发射式导弹作战方案评估指标体系，通过BP 神经网络模型对拟制的导弹作战方案进行评估，得到了评估结果，为导弹武器作战时快速优选作战方案创造条件。田成祥等在对工程兵桥梁爆破影响因素分析的基础上，构建了以爆破人员、爆破目标、爆破工具为主的桥梁爆破方案评估指标体系，并确立了基于BP 神经网络的军用桥梁爆破方案评估模型。刘铜等针对炮兵火力运用方案评估中的主观性和不确定性，将模糊理论融入BP 神经网络对其进行评估，并通过多种群自适应遗传算法对神经网络进行优化以提高评估效率，构建了炮兵火力运用方案评估指标体系、评估流程和评估模型，结合实例进行了仿真验证分析，得出了较为可靠的结论，为炮兵火力运用方案评估提供了有效的方法。刘祖煌等利用径向基神经网络，通过已知数据构建模型，完成了对一类航空兵火力打击方案的效能评估。肖凡等针对作战方案效能评估，分析了当前作战方案效能评估的现状，从信息能力、决策能力、资源消耗和方案自身结构链路关系四个方面提出了作战方案效能评估指标体系，为以后作战方案指标体系的构建提供了借鉴。火箭军工程大学的夏维等针对现有城市系统作战能力评估方法较少的问题，利用BP 神经网络在能力评估方面的自适应性、自学习性、强容错性和泛化映射等优势，建立评估指标体系并给出指标的隶属函数。通过模拟退火遗传算法（simulated annealing and genetic algorithm，SAGA）优化BP 神经网络的连接权重和阈值，弱化了指标评价过程中的人为因素，提高了评价结果的准确性、客观性和权威性，有效解决了传统遗传算法和BP 神经网络容易陷入局部极小值、收敛速度慢和抗干扰能力差的问题。