人工智能：人工神经网络在模式识别与优化中的应用与优越性

1.神经网络

神经网络(neural network)是在结构上模仿人的神经网络，由大量神经元通过极其丰富和完善的连接而构成的自适应高度非线性的超大规模连续时间动力系统，并具有分布存储、联想记忆、大规模并行处理、自学习、自组织、自适应等功能(Gallant，1993)。神经网络由输入层、中间层和输出层组成。大量神经元集体通过示例训练来学习待分析数据中的模式，形成描述复杂非线性系统的非线性函数，得到客观规律的定量描述，适于从环境信息复杂、背景知识模糊、推理规则不明确的非线性空间系统中挖掘分类知识。神经网络对计算机科学、人工智能、认知科学以及信息技术等都产生了重要而深远的影响，在空间数据挖掘中可用来进行分类、聚类、特征挖掘等操作(Miller et al.，1990)。

以神经网络和数学模型为基础，存在的神经网络可分为三类：①用于预测、模式识别等的前馈式网络，如感知机(perceptron)、反向传播模型、函数型网络和模糊神经网络等；②用于联想记忆和优化计算的反馈式网络，如Hopfield的离散模型和连续模型等；③用于聚类的自组织网络，如ART(adaptive resonance theory)聚类和Koholen聚类等。其中，Hopfield网络是一种用于神经优化计算、联想记忆等领域的网络模型，它将网络的动态演化与其Lyapno能量函数联系起来，其动力演化行为由它的能量函数的吸引子决定。如果该吸引子是稳定的并对应于能量函数的某个极小值点，那么网络的动态演化过程就是寻找能量函数极小点的过程，网络停止演化时便可自然得到能量函数的极小点。采用逐步添加训练数据和隐节点避开局部极小点，可在数据挖掘中改进前向人工神经网络算法。此外，神经网络与遗传算法结合，也能优化网络连接强度和网络参数。

神经网络具有鲜明的“具体问题具体分析”的特点，其收敛性、稳定性、局部最小值以及参数调整等问题尚待更深的研究，尤其对于输入变量多、系统复杂且非线性程度大等情况(Lu el al.，1996)。神经网络长于表达能力，却短于解释能力。在神经网络被用于数据挖掘时，训练速度慢，学习时间长，有可能陷入局部最小。同时，难以从网络结构中提取分类规则，难以融合已有的应用领域知识，难以确定网络参数(如中间层神经元的个数)和训练参数(如学习率、误差阈值等)。

人工神经网络是近十多年来学术界的一个研究热点，在信号处理、模式识别、人工智能、向适应控制、决策优化等众多领域得到了广泛的研究和应用。神经网络由多个非常简单的处理单元(神经元)按某种方式相互连接而形成，靠网络状态对外部输入信息的动态响应来处理信息。以模式识别应用为例，人工神经网络的信息分布式存储于联结权系数中，使网络具有很强的容错性和稳健性，可有效地减少或消除模式识别问题中噪声的干扰。另外，人工神经网络的自组织、自适应学习功能，大大放松了传统模式识别方法所需的约束条件，使其对某些识别问题显示出很大的优越性。神经网络方法被称为联结主义(connectionist)方法，而与其相对的以往的方法称为守号主义(symbolic)方法。

由于神经网络的独特特点，它在数据挖掘和知识发现中也得到了应用，主要用于获取分类知识。同决策树等符号主义分类方法相比，神经网络分类算法的优点是分类精度高(错分率低)，对噪声具有稳健性。但是，由于神经网络分类方法获取的知识隐含在网络结构中，而不是显式地表达为规则，不容易被人们理解和解释，因此，一些专家认为神经网络方法不太适合数据挖掘和知识发现。另外，神经网络方法获取分类知识时要多次扫描训练数据，网络训练时间一般比较长；神经网络学习时不易利用领域知识。

为了克服神经网络获取的知识不易理解的缺点，Lu等(1996)提出了一种用神经网络获取分类规则的算法，称为NeuroRule。该算法采用三层BP(back propagation)网络，由网络训练、网络剪枝和规则提取三步构成。网络训练与常规的BP网络训练方法基本相同，为了便于后面的规则提取，数值型属性先离散化成区间值再输入网络。训练结束后，一般网络节点和联结个数非常多元法转换为精练的规则。网络剪枝的目的就是在不增加错分率的前提下，去掉冗余的节点并联结得到一个简练的网络，再在此网络中提取规则。提取规则时，在不牺牲分类精度的前提下，首先将隐层节点的激活值离散化成为较少的离散值，根据输出值和隐节点值之间的依赖以及隐节点激活值与输入值之间的依赖就可以生成规则。典型试验表明，NeuroRule在分类精度与C4.5相当的情况下提取的规则比C4.5更加精练。

在遥感领域，用神经网络进行图像分类的研究已有很多报道，一些商用遥感图像处理软件中已经有神经网络分类的模块。神经网络分类同样可用于GIS数据中的分类、聚类、预测等知识的获取。同样地，知识的获取是通过对训练数据进行学习实现的，这些知识隐含在网络结构中。若是作为中间处理结果，这些知识直接提供计算机算法使用，则一般不必转换为更加精练的规则，此时，网络结构本身可以看作是一种知识表达方式。若是作为最终数据挖掘和知识发现结果提供给人理解和决策，则可借鉴NeuroRule的方法把隐含在网络结构中的知识转换为显式的精练的规则，这样便于人分析和理解，更重要的是可以根据显式规则从大型空间数据库查询某类对象进行更深入的分析。充分利用人工神经网络的优点，结合或借鉴其他方法克服神经网络的一些缺点，必然会使神经网络方法在空间数据挖掘中得到广泛的应用。

“深度学习”的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

2.遗传算法

遗传算法(genetic aigorithms，GA)由J.Holland于1975年提出，利用复制(选择)、交叉(重组)和变异(突变)三个基本算子仿效生物的进化过程，是一种有效地解决最优化问题的方法(Buckless and Petry，1994)。它以严密而抽象的科学方法解释自然界中“物竞天择，适者生存”的演化过程，将生物界中基因演化的重要机制用计算机软件模拟，使空间数据挖掘从初始解一步步地逼近最优解。(www.xing528.com)

复制是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程；交叉是两个不同个体(染色体)的部分(基因)进行交换，形成新个体；变异(突变)是对某些个体的某些基因进行变异(I变O、O变I)。遗传算法应用演化算法的适应函数来决定搜寻的方向。当实施遗传算法时，首先要对求解的问题进行编码，构造染色体，产生初始群体，然后计算个体的适应度，再进行染色体的复制、交换、突变等操作，产生新的个体。重复以上操作直至求得最佳个体。

遗传算法可起到产生优良后代的作用。这些后代需满足适应值，经过若干代的遗传，将得到满足要求的后代(问题的解)。遗传算法具有稳健性(robustness)、求值空间的独立性(domain lndependence)、智能式搜索、渐进式优化、易获得全局最优解、黑箱式结构、适于并行计算和通用性强等优点。稳健性使问题的限制条件降到最低，并大幅提高系统的容错能力；而求值空间的独立'性则使遗传算法的设计单一化，且适用多种不同性质、领域的问题。近年来，信息科技的长足进步，在更快更稳定的系统支援下，遗传算法被机器学习、图像处理、模式识别、自动控制和社会科学等领域广泛应用。目前，遗传算法已在优化计算、自我学习机制、分类机器学习方面发挥了显著作用。

在空间数据挖掘中，把数据挖掘任务表达为一种搜索问题，利用遗传算法的空间搜索能力，经过若干代的遗传，就能求得满足适应值的最优解规则。它提供了一种不同于以往的思考模式，运用在数据挖掘上，可以在巨量数据中快速搜寻、比对、演化出最佳点，并且具有学习机制。数据挖掘和知识发现中的许多问题，如分类、聚类、预测等知识的获取等，可以表达或转换成最优化问题，进而可以用遗传算法来求解。Jiang等(2010)研究解译染色体空间结构的计算工具，以沟通代间信息。

3.人工免疫系统

早在17世纪，我国医学家就创造性地发明了人痘以预防天花。1796年，英国医生Edward Jenner发明了牛痘，从而取代了人痘苗，这是公认的现代免疫学的开端。法国免疫学家Pasteur发明了减毒细菌疫苗，奠定了经典免疫疫苗的基础。经过300多年的发展，免疫学已经从微生物学的一章发展成为一门独立的学科。

生物免疫系统是一种高度进化的智能系统，具有学习、识别和记忆等诸多特征。它由免疫器官、免疫组织以及多种淋巴细胞组成，其中，淋巴细胞主要包括T细胞和B细胞两种，它们分布于整个身体，在免疫中起主要作用。正是充分认识到生物免疫系统中蕴含丰富的信息处理机制，Farmer等率先基于免疫网络学说给出了免疫系统的动态模型，开始了人工免疫系统的研究。其后召开的多次国际会议使人工免疫系统称为人工智能领域的研究热点问题。人工免疫系统(artificial immune systems，AIS)是模仿自然免疫系统功能的一种智能方法，它实现了一种受生物免疫系统启发，通过学习外界物质的自然防御机理的学习技术，提供了噪音忍耐、无教师学习、自组织、记忆等进化学机理，结合了分类器、升级网络和机器推理等系统的一些优点，因此提供了新颖的解决问题的方法和途径。

理论免疫学与人工免疫系统是与人类免疫系统有关的两个研究领域：前者(包括计算免疫学)目的是解释免疫学现象，解决免疫学或医学问题，这一领域的历史较为悠久；后者则是从工程和科学角度研究免疫系统机制和性质，找到解决工程和科学问题(包括医学问题)的新方法。理论免疫学的研究远早于人工免疫系统的研究，奠定了人工免疫系统的生物学基础。它的研究成果不断促进人工免疫系统的发展，最近几年，二者的部分研究内容尤其是免疫系统建模和仿真研究日益融合，因此理论免疫学与人工免疫系统是互相促进发展的。人工免疫系统在发展过程中有多个定义。国际上也有利用免疫计算(immune computing)概括这一领域的思想。采用莫宏伟的定义：人工免疫系统是基于免疫系统机制和理论免疫学而发展起来的各种人工范例的统称。这个定义涵盖免疫启发的算法与模型，免疫启发的软、硬件系统及免疫系统建模与仿真等多种基于免疫机制的系统与方法。

免疫系统之所以受到计算机科学和工程研究人员的关注，是由于免疫系统具有许多特征，包括：模式识别与匹配、特征抽取、学习与记忆、阈值机制、模糊与概率检测、鲁棒性、自适应、多样性、分布式、自我调节、复杂性、协同刺激、自组织等。通过分析产生这些特征的原理，经过工程设计，人们可以从需求出发设计出具有鲁棒性、适应性、伸缩性、灵活性、自我平衡、自我修复等性能优良的人工系统。

为了解释各种免疫现象，许多学者提出了多种免疫系统理论，其中有许多学者因为研究免疫系统而获得诺贝尔奖。最有影响的理论包括免疫抗体形成的侧链理论、免疫调节和网络理论、克隆选择学说、免疫耐受、抗体多样性理论等。目前，人工免疫算法研究主要集中于克隆选择算法、免疫阴性选择算法和基于免疫网络的算法这三大类。这些理论已经广泛应用于计算机安全、故障耐受与检测、机器学习、数据挖掘、机器人、优化、调度、模式识别、图像处理、生物信息学、天气预报、电力系统、生产设计、化学、农业、经济、疾病监测、预测、计算机音乐、物理安全系统等多个领域。从目前的应用范围看，人工免疫系统反映了智能信息处理领域研究与应用的一个新方向。

虽然人工免疫系统已经被广大研究者逐渐重视，然而与利用已经比较成熟的方法和模型的人工神经网络研究相比，不论是对免疫机理的认识还是免疫算法的构造还是工程应用，人工免疫系统的相应研究都还有很大的潜力，特别是对人工免疫系统在数据挖掘领域的应用，目前研究成果较少。J.Timmis等将人工免疫系统用于数据库知识发现，与单一联结聚类分析的Kohonen网络作了比较，认为人工免疫系统作为数据分析工具是适合的。可见已有的人工免疫系统算法是可以用于数据挖掘的，但是针对空间数据的自身特点，在具体应用时要进行调整，可以把较成熟的数据挖掘方法和人工免疫系统算法相结合，会有更加广阔的应用前景(梁勤欧，2003)。本研究中主要是针对土地用途分区中的问题，结合克隆选择算法在数据挖掘中的可行性，对其进行了改进，具体内容在第4章进行详细研究。