深度学习的基本原理

人工智能的发展，是从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点。其中，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。那么这里的“学习”，其含义通常是这样定义的：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.即“对于某类任务T和性能度量P，如果一个计算机程序在某些任务T上以P度量的性能随着经验E的增加而提高，那么称这个计算机程序是在从经验E中学习。”

由此可见，机器学习的任务通常定义为让计算机学会如何处理人们通常所说的特征（feature）。一些基本的机器学习任务如下。

（1）分类。最常见的机器学习任务之一，根据样本特征判断样本类别，即输入特征输出有限的离散值。例如，根据天气情况判断是否会下雨，根据图片判断其中物体的类别。

（2）回归。另一种常见的机器学习任务，根据输入样本特征输出一个连续的属性值。例如，根据天气情况预测明天的温度，根据地段位置预测房价等。（3）聚类。将样本点根据特征划分为不同的类簇。例如，根据客户的观影或网购属性特征将客户自动地聚成不同类别。

（4）密度估计。根据所给的样本点，估计样本的分布情况。

那么，一个任务是否适合采用机器学习技术予以解决呢？通常，只有该任务同时满足以下三个条件时，才会使用机器学习的手段：一是待研究的问题存在某种模式；二是无法用数学方法显式地加以解决；三是有关于它的大量的数据。(www.xing528.com)

以迷彩图案设计为例，通常设计人员根据所搜集的战场地形地貌，利用各种知识和技术手段，能够实现迷彩图案的设计，而且这种设计往往还能实现延续，将其推广到其他系列迷彩的设计中。换言之，似乎存在某种设计模式，但是这种设计模式很难用一个数学公式或者方程组予以量化求解。所幸的是，在设计某种用途的迷彩伪装图案时，往往会拥有大量的素材和已有的经验。因此，对于迷彩图案设计这个既定命题而言，是可以采用机器学习加以解决的。

通俗地讲，深度学习是机器学习在大数据集上的延伸。机器学习时代，我们往往拥有一个较小的数据集，此时采用支持向量机，核岭回归或者简单的BP神经网络，就能够进行特征的提取或者重映射，完成既定的任务。而到了大数据时代，问题的解决往往依赖于深度神经网络，其参数的数量从成百上千个激增到数十亿甚至数百亿个。因此，学者通俗地将这个时代（一般业界公认深度学习的时代开始于2012年）的机器学习称为深度学习，即采用大数据来训练深度神经网络。或者说，为了使得神经网络能够充分学习到特征提取或者问题推理所需的最优化参数组合，必须采用大量的数据和复杂的神经网络结构。

图11-27　卷积神经网络结构示意图

在众多的神经网络结构中，最流行的就是卷积神经网络（convolutional neural network），简称CNN。它是一种神经网络结构，可将输入（通常是图像）通过卷积运算不断分解成局部区域，并执行特征提取。它可以从输入的信息中，通过梯度下降算法，自动提取出重要的或者显著的特征，并用于后续的决策（如经典的分类决策任务）。CNN的构成通常包括多个卷积层和池化层所构成的模块。卷积层在前级输入的特征图（feature map）上通过卷积核提取当前的特征信息。池化层则对提取的特征信息通过下采样浓缩出最重要的信息，构成新的特征图，通过非线性激活函数（如图11-27中用的ReLU函数）向后级传送，直至最终得到覆盖原始输入整个感受野（receptive field）的高层特征，并通过全连接层或者全局平均池化层得出最终的分类决策。