数据质量评估框架优化：从理论到实践

数据质量评估框架是组织用来评估数据质量的工具，是一个指导方针。Willshire和Meyen［67］将数据质量框架描述为“一种手段，是一个组织可以用来定义它的数据环境的模型，明确有关数据质量的属性，在当前的环境下分析数据质量的属性，提供保证数据质量提高的手段”。Eppler和Witting［68］提出数据质量框架应该不仅仅只是评估，还要提供一个分析、解决数据质量问题的方案。

目前学术界针对数据质量和信息质量评估提出了10多个评估框架，如表10-5所示［69］。在表10-5中，有些框架主要针对通用领域的数据质量或者专业领域的数据质量进行评估，另外一些框架则适用于企业内部的信息系统或者协同信息系统的评估。

表10-5　常见的数据质量评估框架

图3-49　螺旋线

在表10-5中，TDQM是由麻省理工学院的研究人员提出的第一个关于数据质量管理的框架，随后他们又在这个框架的基础上提出AIMQ评估框架和DQA评估框架，该两个框架已经被一些的企业和政府机构所使用。DQAF是由国际货币基金组织（International Monetary Fund，IMF）提出的通用性数据质量评估框架，可以广泛应用于各成员国的统计数据质量的评价和改善。下面章节将重点介绍DQAF和AIMQ二个框架的相关知识和用途。

1）DQAF框架

20世纪90年代以来，一些国家相继发生大规模的经济危机，如：1994年墨西哥经济危机、1997年亚洲经济危机以及1998年的俄罗斯、巴西经济危机。如此频繁地出现经济危机使得IMF意识到众多成员国的金融运行存在着信息缺乏和信息管理的问题［70］。自1997年以来，IMF的统计部门就开始致力于如何评估数据质量，为此需要提出一种框架，这种框架将用于与数据质量评估有关的领域。经过多方努力，数据质量评估框架（data quality assessment frame，DQAF）逐步发展起来，成为官方认可的一种方法论。DQAF是评估数据质量的方法，它融合了“联合国官方统计基本准则”和“SDDS/GDDS”在内的最好实践经验以及国际公认的统计概念、定义。

2003年7月IMF公布了国际通用的DQAF，该框架整体结构呈级联式展开，在第一层首先提出质量的先决条件以及衡量数据质量的五个维度，然后将第一层的每个维度分别在第二层的评估要素和第三层的评估指标中具体化，评估指标后面对统计数据质量评判的标准有更详尽的解释［71］。DQAF评估框架分为六个部分，从讨论保障数据质量的法律和制度环境（先决条件）开始，然后依次分析数据质量的五个维度，主要内容为：

（1）质量的先决条件（prerequisites of quality）。这个维度并不用于衡量数据质量，但是它的要素和指标却负责保证统计数据质量的先决条件或制度。该部分的评估标准主要针对的是统计工作中的众多机构，如国家统计局、中央银行或财政部门等。这些先决条件包含法律和制度环境、资源、相关性和其他数据质量管理措施等要素。

（2）诚信保证（assurances of integrity）。这个维度描述了“统计体系应建立在与统计数据收集、编辑和公布环节中的客观性原则相一致的基础上”的一种观念。它包括关于确保统计政策和实践中的专业性、透明度和民族性的相关制度安排，其中的三个要素是：专业性、透明性和民族性。

（3）方法健全性（methodological soundness）。这个维度是指“统计产品的方法论基础应当是健全的，并且这种健全性能够通过遵循国际认可的标准、指导方针或良好实践来获得”。该质量维度必须是与特定数据集相联系以体现不同的数据集采用的不同方法。这个维度含有四个要素，即：概念和定义、范围、分类或分区以及计量基础。

（4）准确性和可靠性（accuracy and reliability）。这个维度用来描述“统计数据能够充分地描述经济现实”的思想。具体内容包括：统计方法是正确的；原始数据、中间数据和统计结果定期受到评估而且是有效的，并含有对数据修订的研究。这部分的五个要素是：原始数据、原始数据的评估、统计方法、中间数据及统计结果的评估与验证和修订政策。

（5）适用性（serviceability）。这个维度强调实践部分，即数据集满足用户需要的程度，它的三个要素包括：期限与及时性、一致性和修订政策与实践。

（6）可获取性（accessibility）。这个维度讨论用户关于信息的可用性，确保数据和元数据以一种清楚和可以理解的方式提供。其对应的三个要素为：数据的可获取性、元数据的可获取性和对数据使用者的帮助。

2）AIMQ框架(www.xing528.com)

信息管理质量评价（assessment information management quality，AIMQ）是由麻省理工学院TDQM研究项目小组提出的，针对企业信息质量进行评价和差异分析的一种方法。AIMQ由3个部分构成：信息质量（information quality，IQ）模型、信息质量维度和信息质量分析技术［72］。此外，AIMQ还提供一个信息质量差异分析技术来帮助组织了解自身的不足和改进方式。

（1）IQ模型。IQ模型是一个2×2维的结构，如表10-6所示。它用来描述信息是一个产品还是服务，对于正式的规范或者客户期望，信息质量改进是否可以评估［73］。重要的信息象限表示所提供的信息特性需要满足IQ标准，具体的IQ维度包括：无错误、简洁的表达、完整性和一致性表达。有用的信息象限表示所提供的信息特性符合信息消费者的任务需求，其IQ维度包含：合适的数量、相关性、可理解性、可解释性和客观性。可靠的信息象限是指转换数据到信息的过程符合标准，其IQ维度为及时性和安全性。可用的信息象限描述转换数据到信息的过程超越信息消费者的需求，对应的IQ维度为可信度、可访问性、易于操作和声誉。

表10-6　信息质量模型表

图3-50　草图4

（2）IQ维度。IQ维度是一个调查问卷表，用来检测对于信息消费者和管理者来说重要的信息质量维度。根据MIT前期的研究结果，他们将IQ维度划分为4类，如表10-7所示。

表10-7　信息质量维度表

扫描切除特征。单击“特征”工具栏中的“扫描切除”按钮,依次单击“轮廓”(即草图4)和“路径”(即螺旋线)。其他选项默认即可,单击“确定”按钮,形成的“真正的”螺纹效果,如图3-51所示。

固有IQ表示信息自身具有的特性，主要包括：准确性、可信度、客观性和声誉。上下文IQ着重说明IQ必须考虑与上下文相关的需求，这一类别的维度包括：值可加性、相关性、完整性、及时性和合适的数量。可表达性IQ和可访问性IQ则强调用于存储和提供信息的计算机系统的重要性。这意味着计算机系统必须采用一种方式使得信息可以解释、容易理解、便于操作，信息的表达应该是简洁的，具有一致性；同时，系统必须是可访问和安全的。IQA技术

（3）IQA技术。IQA是信息质量的一种分析技术，通过对获取的IQ问卷调查表进行分析来帮助企业改善信息质量。IQA可以分为两种技术：第一种技术是将某个组织的IQ与来自组织最佳实践的信息基准进行比较。第二个技术是测量组织内部不同部门和不同管理者之间的评估差距，为改进信息质量提供解决方案［9］。

为了完成IQA工具的开发和管理，可将IQA划分为3种方式：

①维度指标形成，先为每个IQ维度选择12～20个指标，然后由研究人员从这些指标中确定每个IQ维度的具体指标作为研究对象。

②试验研究，为减少研究指标数量，进行各个指标的可靠度评价，选出部分指标作为研究对象。

③全面研究，采用一个包含65个IQ评估指标的最终调查表对组织中IQ进行评估分析。3种方式的统计分析均可以使用Windows平台上的SPSS软件。

（4）IQA差异分析技术。IQA差异分析有两种类型：基准差异分析和角色差异分析。基准差异是针对信息和信息基准之间的差异分析，角色差异分析技术可以使组织发现它的IQ针对不同的角色组织的不足之处，实现在组织内部不同单位和不同管理者之间比较IQ差异，为改进信息质量提供解决方案。