数据质量分析成果-基于大数据挖掘的服刑人员再犯罪预测

数据质量分析的主要任务是检查原始数据中是否存在脏数据。脏数据一般是指不符合要求，以及不能直接进行相应分析的数据。在常见的数据挖掘工作中，脏数据包括：缺失值、异常值、不一致的值，和重复数据及含有特殊符号（如＃、¥、*）的数据。接下来，我们主要对数据中的缺失值、异常值和一致性进行分析^[35]。

1.缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确。以下从缺失值产生的原因及影响等方面展开分析。

缺失值一般由以下几个原因产生：

有些信息暂时无法获取，或者获取信息的代价太大；

有些信息暂时无法获取，或者获取信息的代价太大；

有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为原因而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失；

有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为原因而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等非人为原因而丢失；

属性值不存在。在某些情况下，缺失值并不意味着数据有错误，对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。

缺失值的存在，将会产生以下一些影响：

属性值不存在。在某些情况下，缺失值并不意味着数据有错误，对一些对象来说某些属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入等。

缺失值的存在，将会产生以下一些影响：

数据挖掘建模将丢失大量的有用信息；

数据挖掘建模将丢失大量的有用信息；

数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握；

数据挖掘模型所表现出的不确定性更加显著，模型中蕴含的规律更难把握；

包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。缺失值的处理，从总体上来说分为：删除存在缺失值的记录、对可能值进行插补和不处理三种情况。

2.异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响。重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值分析也被称为离群点分析。

（1）简单统计量分析。可以先对变量作一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如，客户年龄的最大值为199岁，则该变量的取值存在异常。

包含空值的数据会使建模过程陷入混乱，导致不可靠的输出。

使用简单的统计分析，可以得到含有缺失值的属性的个数，以及每个属性的未缺失数、缺失数与缺失率等。缺失值的处理，从总体上来说分为：删除存在缺失值的记录、对可能值进行插补和不处理三种情况。

2.异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响。重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。

异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值分析也被称为离群点分析。

（1）简单统计量分析。可以先对变量作一个描述性统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如，客户年龄的最大值为199岁，则该变量的取值存在异常。

（2）3σ原则。如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为：3σ）≤0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

（3）箱线图分析。箱线图提供了识别异常值的一个标准：异常值通常被定义为小于QL-1.5IQR或大于QU＋1.5IQR的值。QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数与下四分位数之差，其间包含了全部观察值的一半。箱线图依据实际数据绘制，没有对数据作任何限制性要求（如服从某种特定的分布形式），它只是真实直观地表现数据分布的本来面貌；另外，箱线图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性；多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱线图识别异常值的结果比较客观，在识别异常值方面有一定的优越性。

3.一致性分析

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。

在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，这可能是由被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致性更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。

【注释】

[1]参见王珊、萨师煊：《数据库系统概论（第5版）》，高等教育出版社2014年版。

[2]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[3]刘峰：“什么是数据、信息、知识和智慧”，载http：//www.360doc.com/content/15/0828/01/14075207_495375928.shtm l，最后访问日期：2018年2月21日。

[4]DIKW：“数据、信息、知识、智慧的金字塔层次体系”，载http：//www.ciotimes.com/ProCase/85417.htm l，最后访问日期：2018年2月21日。

[5]参见[美]韩家炜等：《数据挖掘概念与技术》，范明等译，机械工业出版社2015年版。

[6]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[7]Nature：“Big Data”，http：//www.nature.com/news/specials/bigdata/index.htm l，最后访问日期：2018年2月22日。

[8]Bryant RE，Katz RH，Lazowska ED：“Big-Data computing：Creating revolutionary breakthroughs in commerce，science and society”，http：//www.era.org/ccc/docs/init/Big_Data.pdf，最后访问日期：2018年2月22日。

[9]“大数据的发展历程：2005-2014”，载http：//www.forestry.gov.cn/portal/xxb/s/2519/content-709605.html，最后访问日期：2018年2月22日。

[10]Science：“Special Online Collection：Dealing with Data”，http：//www.sciencemag.org/site/special/data/，最后访问日期：2018年2月22日。

[11]World Economic Forum：“Big Data，Big Impact：New Possibilities for International Development”，http：//www3.weforum.org/docs/WEF-TC-MFS-BigDataBiglmpact_Briefing_2012.pdf，最后访问日期：2018年2月22日。

[12]“Big Data Research and Development Initiative”，http：//www.whitehouse.gov/sites/default/files/omb/egov/digital-government/digital-government-strategy.pdf，最后访问日期：2018年2月22日。

（2）3σ原则。如果数据服从正态分布，在3σ原则下，异常值被定义为一组测定值中与平均值的偏差超过三倍标准差的值。在正态分布的假设下，距离平均值3σ之外的值出现的概率为：3σ）≤0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

（3）箱线图分析。箱线图提供了识别异常值的一个标准：异常值通常被定义为小于QL-1.5IQR或大于QU＋1.5IQR的值。QL称为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU称为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR称为四分位数间距，是上四分位数与下四分位数之差，其间包含了全部观察值的一半。箱线图依据实际数据绘制，没有对数据作任何限制性要求（如服从某种特定的分布形式），它只是真实直观地表现数据分布的本来面貌；另外，箱线图判断异常值的标准以四分位数和四分位距为基础，四分位数具有一定的鲁棒性；多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响。由此可见，箱线图识别异常值的结果比较客观，在识别异常值方面有一定的优越性。

3.一致性分析

数据不一致性是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相违背的挖掘结果。

在数据挖掘过程中，不一致数据的产生主要发生在数据集成的过程中，这可能是由被挖掘数据来自于不同的数据源、对于重复存放的数据未能进行一致性更新造成的。例如，两张表中都存储了用户的电话号码，但在用户的电话号码发生改变时只更新了一张表中的数据，那么这两张表中就有了不一致的数据。

【注释】

[1]参见王珊、萨师煊：《数据库系统概论（第5版）》，高等教育出版社2014年版。

[2]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[3]刘峰：“什么是数据、信息、知识和智慧”，载http：//www.360doc.com/content/15/0828/01/14075207_495375928.shtm l，最后访问日期：2018年2月21日。

[4]DIKW：“数据、信息、知识、智慧的金字塔层次体系”，载http：//www.ciotimes.com/ProCase/85417.htm l，最后访问日期：2018年2月21日。(www.xing528.com)

[5]参见[美]韩家炜等：《数据挖掘概念与技术》，范明等译，机械工业出版社2015年版。

[6]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[7]Nature：“Big Data”，http：//www.nature.com/news/specials/bigdata/index.htm l，最后访问日期：2018年2月22日。

[8]Bryant RE，Katz RH，Lazowska ED：“Big-Data computing：Creating revolutionary breakthroughs in commerce，science and society”，http：//www.era.org/ccc/docs/init/Big_Data.pdf，最后访问日期：2018年2月22日。

[9]“大数据的发展历程：2005-2014”，载http：//www.forestry.gov.cn/portal/xxb/s/2519/content-709605.html，最后访问日期：2018年2月22日。

[10]Science：“Special Online Collection：Dealing with Data”，http：//www.sciencemag.org/site/special/data/，最后访问日期：2018年2月22日。

[11]World Economic Forum：“Big Data，Big Impact：New Possibilities for International Development”，http：//www3.weforum.org/docs/WEF-TC-MFS-BigDataBiglmpact_Briefing_2012.pdf，最后访问日期：2018年2月22日。

[12]“Big Data Research and Development Initiative”，http：//www.whitehouse.gov/sites/default/files/omb/egov/digital-government/digital-government-strategy.pdf，最后访问日期：2018年2月22日。

[13]“Obama Administration Unveils200M Big Data R＆D Initiative”，http：//escience.washington.edu/what-we-do/obama-big-data-initiative，最后访问日期：2015年2月2日。

[14]“Digital Government Strategy”，http：//www.whitehouse.gov/blog/2012/03129/big-data-bigdeal，最后访问日期：2018年2月22日。

[15]最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。除了bit外，其他单位相邻上下单位之间都是1024倍的关系。

[16]Gartner：“Gartner ITGlossary-Big Data”，https：//www.gartner.com/it-glossary/bigdata，最后访问日期：2013年9月。

[17]金小鹿：“驯服大数据的4个V”，载《中国计算机报》2012年第7期。

[18]Berwick H.：“The‘four Vs’of Big Data：Implementing Information Infrastructure Symposium”，http：//www.computerworld.com.au/article/396198/iiis_four_vs-big-data/，最后访问日期：2018年2月22日。

[19]参见杨旭、汤海京、丁刚毅：《数据科学导论》，北京理工大学出版社2014年版。

[20]参见孟小峰、慈祥：“大数据管理：概念、技术与挑战”，载《计算机研究与发展》2013年第1期。

[21]刘叶婷、唐斯斯：“大数据对政府治理的影响及挑战”，载《电子政务》2014年第6期。

[22]李未、郎波：“一种非结构化数据库的四面体数据模型”，载《中国科学：信息科学》2010年第8期。

[23]参见周宝曜、范承工、刘伟：《大数据：战略·技术·实践》，电子工业出版社2013年版。

[24]数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

[25]王雪迎：《Hadoop构建数据仓库实践》，清华大学出版社2017年版。

[26]参见阿里巴巴数据技术及产品部：《大数据之路：阿里巴巴大数据实践》，电子工业出版社2017年版。

[27]王珊、萨师煊：《数据库系统概论（第5版）》，高等教育出版社2014年版。

[28]参见[美]奎斯塔：《实用数据分析》，机械工业出版社2015年版。

[29]参见[爱尔兰]Igor Milovanovic：《Python数据可视化编程实战》，人民邮电出版社2015年版。

[30]张胜：“数据质量评价指标和评价方法浅析”，载《科技信息》2014年第2期。

[31]陈卫东、张维明：“属性粒度数据质量模型及其评价指标研究”，载《计算机科学》2010年第5期。

[32]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[33]朝乐门：“数据连续性：未来跨学科研究的重要课题”，载《情报学报》2016年第3期。

[34]刘永楠等：“数据完整性的评估方法”，载《计算机研究与发展》2013年第S1期。

[35]参见张良均等：《Python数据分析与挖掘实战》，机械工业出版社2015年版。

[13]“Obama Administration Unveils200M Big Data R＆D Initiative”，http：//escience.washington.edu/what-we-do/obama-big-data-initiative，最后访问日期：2015年2月2日。

[14]“Digital Government Strategy”，http：//www.whitehouse.gov/blog/2012/03129/big-data-bigdeal，最后访问日期：2018年2月22日。

[15]最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。除了bit外，其他单位相邻上下单位之间都是1024倍的关系。

[16]Gartner：“Gartner ITGlossary-Big Data”，https：//www.gartner.com/it-glossary/bigdata，最后访问日期：2013年9月。

[17]金小鹿：“驯服大数据的4个V”，载《中国计算机报》2012年第7期。

[18]Berwick H.：“The‘four Vs’of Big Data：Implementing Information Infrastructure Symposium”，http：//www.computerworld.com.au/article/396198/iiis_four_vs-big-data/，最后访问日期：2018年2月22日。

[19]参见杨旭、汤海京、丁刚毅：《数据科学导论》，北京理工大学出版社2014年版。

[20]参见孟小峰、慈祥：“大数据管理：概念、技术与挑战”，载《计算机研究与发展》2013年第1期。

[21]刘叶婷、唐斯斯：“大数据对政府治理的影响及挑战”，载《电子政务》2014年第6期。

[22]李未、郎波：“一种非结构化数据库的四面体数据模型”，载《中国科学：信息科学》2010年第8期。

[23]参见周宝曜、范承工、刘伟：《大数据：战略·技术·实践》，电子工业出版社2013年版。

[24]数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

[25]王雪迎：《Hadoop构建数据仓库实践》，清华大学出版社2017年版。

[26]参见阿里巴巴数据技术及产品部：《大数据之路：阿里巴巴大数据实践》，电子工业出版社2017年版。

[27]王珊、萨师煊：《数据库系统概论（第5版）》，高等教育出版社2014年版。

[28]参见[美]奎斯塔：《实用数据分析》，机械工业出版社2015年版。

[29]参见[爱尔兰]Igor Milovanovic：《Python数据可视化编程实战》，人民邮电出版社2015年版。

[30]张胜：“数据质量评价指标和评价方法浅析”，载《科技信息》2014年第2期。

[31]陈卫东、张维明：“属性粒度数据质量模型及其评价指标研究”，载《计算机科学》2010年第5期。

[32]参见朝乐门：《数据科学》，清华大学出版社2016年版。

[33]朝乐门：“数据连续性：未来跨学科研究的重要课题”，载《情报学报》2016年第3期。

[34]刘永楠等：“数据完整性的评估方法”，载《计算机研究与发展》2013年第S1期。

[35]参见张良均等：《Python数据分析与挖掘实战》，机械工业出版社2015年版。