数据挖掘技术流程与方法

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。

随着信息技术的高速发展，人们积累的数据量急剧增长，如何从海量的数据中提取有用的知识成为当务之急。数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术，是知识发现的关键步骤。

数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问，进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，从而促进信息的传递。

1.数据挖掘的任务

数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。

（1）关联分析：关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个 值来度量关联规则的相关性，还可引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。

（2）聚类分析：聚类是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式以及可能的数据属性之间的相互关系。

（3）分类：分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类可被用于规则描述和预测。

（4）预测：预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常用预测方差来度量。

（5）时序模式：时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用已知的数据预测未来的值，但这些数据的区别是变量所处的时间不同。

（6）偏差分析：偏差分析是对差异和极端特例的描述分析，用于揭示事物偏离常规的异常现象。偏差检测的基本方法是：寻找观测结果与参照值之间有意义的差别。

2.数据挖掘的对象

根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及互联网等。

3.数据挖掘流程(www.xing528.com)

（1）定义问题：清晰地定义出业务问题，确定数据挖掘的目的。

（2）数据准备：选择数据——在大型数据库和数据仓库目标中提取数据挖掘的目标数据集；数据预处理——进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声、填补丢失的域、删除无效数据等。

（3）数据挖掘：根据数据功能的类型和数据的特点选择相应的算法，在 化和转换过的数据集上进行数据挖掘。

（4）结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。

（5）知识的运用：将分析所得到的知识集成到业务信息系统的组织结构中去。

4.数据挖掘的方法

（1）神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、BP反向传播模型、数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以普菲尔德（John J.Hopfield）的离散模型和连续模型为代表的，分别用于联想记和优化计算的反馈式神经网络模型；以ART模型、Koholon模型为代表的，用于聚类的自组织映射模型。神经网络方法的缺点是“黑箱”性，人们难以理解网络的学习和决策过程。

（2）遗传算法：遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其他模型结合等性质，使得它在数据挖掘中被加以应用。Sunil已成功地开发了一个基于遗传算法的数据挖掘工具，利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘的有效方法之一。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。例如，利用遗传算法优化神经网络结构，在不增加错误率的前提下，删除多余的连接和隐层单元。

（3）决策树方法：决策树是一种常用于预测模型的算法，它通过将大量数据有目的地分类，从中找到一些有价值的、潜在的信息。它的主要优点是描述简单、分类速度快，特别适合大规模的数据处理。最有影响和最早的决策树方法是由J.Ross Quinlan提出的著名的基于信息的ID3（Iterative Dichotomiser 3，代二叉树3代）算法。它的主要问题是：ID3是非递增学习算法；ID3决策树是单变量决策树，复杂概念的表达困难；同性间的相互关系强调不够；抗噪性差。针对上述问题，出现了许多较好的改进算法，如Schlimmer J.C.和Fisher D.A.设计了ID4递增式学习算法；鸣、陈文伟等提出了IBLE（Information Based Learing of Examples）算法等。

（4）粗集方法：粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息；简化输入信息的表达空间；算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统，为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论，难以直接处理连续的属性。现实信息表中连续属性是普遍存在的，因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件，如加拿大Regina大学开发的KDD-R、美国Kansas大学开发的Lers等。

（5）覆盖正例排斥反例方法：它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的种子相容则去，相反则保留。按此思想循环所有正例种子，将得到正例的规则（选择子的合取式）。

（6）统计分析方法：在数据库字段项之间存在两种关系，即数关系（能用数公式表示的确定性关系）和相关关系（不能用数公式表示，但仍是相关确定性关系）。对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析，可进行常用统计（求大量数据中的最大值、最小值、总和、平均值等）、回归分析（用回归方程来表示变量间的数量关系）、相关分析（用相关系数来度量变量间的相关程度）、差异分析（从样本统计量的值来确定总体参数之间是否存在差异）等。

（7）模糊集方法：利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的此彼性的。李德等人在传统模糊理论和概率统计的基础上，提出了定性定量不确定性转换模型——云模型，并形成了云理论。