《数字图书馆评价的理论和方法》最新研究进展

第四节　数字图书馆评价研究的国内外现状

数字图书馆的评价研究在国内起步较晚，最近几年有一些国内学者关注到数字图书馆的评价工作。2002年，霍丽萍发表在《图书情报工作》上的《数字图书馆评价体系的构建》^［9］是国内第一篇能检索到的探讨数字图书馆的评价方面的文章。

我们以国内收录期刊较为全面的《中国学术期刊全文数据库》为基础，结合《维普中文科技期刊全文数据库》，通过检索，截止至2005年底，共检索出52篇相关文献。^［10］它仅占数字图书馆相关研究文献的3%，表现出明显的滞后性。2000年之前国内没有相关研究文献，而2005年就有27篇文献，研究呈现出直线上升趋势。下面对国内外图书馆学界有关数字图书馆评价方面的研究的现状进行综述。

一、国外图书馆学界对数字图书馆评价的研究现状

从20世纪90年代起，数字图书馆的研究及实践在全球蓬勃发展，但与其相关的数字图书馆评价却显得相对滞后。近年来国外有关数字图书馆评价研究及实践的报道日显增多，其研究焦点主要集中在评价对象、评价框架、评价标准及评价方法四个方面。

Saracevic^［8］在《数字图书馆评价：关于概念的发展》中提出的评价框架对国内研究有相当的启示作用。他认为评价工作应该包括以下最基本的相关选择和决策：

（1）评价对象。需要明确什么是数字图书馆？它包含的内容是什么？需要对什么进行评价？

（2）评价角度。即评价的目的、框架、观点。选择评价标准的关键是什么？选择某个标准的目的是什么？

（3）评价标准。即相应的选择目标所反映的标准。标准的核心指标有那些？评价有什么尺度或特征？

（4）评价方法。使用哪些测试工具？样本是什么？按什么程序收集数据？怎样分析数据？

综观相关的国外数字图书馆评价文献，主要研究的问题包括：^［12］

1.关于数字图书馆评价对象的研究

评价对象，也就是要评价的具体内容。由于目前对数字图书馆的理解和界定还不统一，要确定数字图书馆的具体内容并不容易。因此，国外数字图书馆评价研究实践多集中在将数字图书馆作为一整体进行评价或是对数字图书馆的某些过程进行评价两个方面。

将数字图书馆作为整体进行评价，由于人们对数字图书馆定义不统一、用户群体各不相同、建设的最终目标也大相径庭，因此，整体评价则是根据不同数字图书馆建设类型，在建设目标的框架下，将其作为一个特定的整体进行评价。在此，将数字图书馆按建设目标分为研发型和实践型。

研发型数字图书馆的建设目的以研发为主。其评价的主要目的是通过评价进一步认识数字图书馆及其作用，因此涉及的领域也较为广泛。实践型的数字图书馆注重实际用途和实际可操作性，因此评价重点也就放在用户使用上。

2.关于数字图书馆评价框架的研究

评价框架包括评价方法、方向、角度、水平和目的。由于数字图书馆是一个集社会、机构及技术为一体的复杂系统，而评价不可能包括所有方面，因此只能从评价的目的出发，从不同角度，采用不同的评价方法进行评价。国外在这一方面的研究概况如下：

（1）以系统为中心。

这是最为常用的评价方法。通常包括系统性能评价。主要是对系统特性、设计以及技术方面的效用和效益进行评价。通过评价改进设计和运作。

（2）以人为中心。

这也是一种广泛采用的方法。包括有关信息需求行为的研究，如信息检索、浏览、查询以及完成工作的性能。这种方法的目的是为了揭示用户行为、需求以及用户解决问题的途径，并以此为基点，改进系统。

（3）以可用性为中心。

这一方法主要是从用户的角度出发，评价系统的不同功能特征。这是一种介于以系统为中心和以人为中心的评价之间的方法，属于人机交互研究领域。

（4）经济学方法。

评价包括了成本、成本效益、经济价值及影响度。这种评价曾在数字图书馆建设初期，如美国项目的评价对象就包含了价格模型、收入和费用等经济因素，但现在很少有项目触及这一方面。评价的水平则包括了从微观的特征到宏观的影响度评价。如美国开放式视频数字图书馆项目评价就着眼于研究图像代理的识别速度这一微观层面；而项目及英国电子图书馆的评价都看重项目的影响度，即宏观层面的评价。

3.关于数字图书馆评价标准的研究

评价标准是评价活动的核心，对评价结果具有直接的影响。评价结论不同的最主要原因是评价标准的不同。虽然上世纪50年代，曾有人提出针对信息检索系统评价的“适用性”的基本标准，但显然不适用于复杂的数字图书馆系统。对此，不同的项目都提出各自不同的评价标准，主要集中在四个方面：可用性、系统性能、使用、人文及其他。(www.xing528.com)

4.关于数字图书馆评价方法论的研究

目前有关数字图书馆的评价的理论和方法尚未成熟，但大部分评价都采用定量与定性相结合的方法。主要包括以下几种方法：（1）调查，包括直接提问与在线调查；（2）结构式访谈；（3）个案调研；（4）社会调查；（5）观察跟踪；（6）系统交互记录；（7）实验方法；（8）记录分析；（9）使用分析；（10）文件、会议以及分析；（11）经济分析。

二、国内图书馆学界对数字图书馆评价的研究现状^［11］

1.意识到数字图书馆评价的重要意义

刘兹恒、王海娟^［13］指出，虽然目前还不能对数字图书馆的方方面面进行系统、科学的评价，但一些切实可行的、局部的、阶段性的评价无疑有助于引导数字图书馆的健康发展。因此评价研究的结果可以为数字图书馆系统的开发和部署提供决策指南，有助于检验数字图书馆是否能够解决适当的社会、文化和经济问题，以及是否能够持久发展下去。

吴清强、朝涛^［3］指出，数字图书馆的设计者、操作者和用户对数字图书馆的理解存在巨大的偏差，对数字图书馆的评价可以提供方法、手段和机会，使他们能通过评价来取得对数字图书馆理解的相对一致性，使数字图书馆具有更强的实用性。因此除了要对数字图书馆建设进行理性研究外，更要对其评价工作进行理论和实践的探索。

2.研究了数字图书馆评价对象^［10］

评价对象也就是要评价的具体内容。由于数字图书馆概念本身的不统一，导致人们对数字图书馆认知不统一，进一步导致评价结果的差别。明确评价对象才能得到详细的、具有理论和实践价值的评价结果。

乔欢^［14］介绍了两种具有代表性的分类，一是Savacevic和Covi的观点，分为社会、机构、个人、界面、工程、信息处理、信息内容7个方面。其中前三层以用户为中心，后三层以系统为中心，而第四层则是一个分界。二是Fuhr等人分为四个侧面：（1）数据馆藏；（2）系统技术；（3）用户；（4）使用效果、效益和质量，4项共同构成评价矩阵。《数字图书馆评价客体解析》^［15］还提到了欧洲数字图书馆评价小组的分类法，即系统、用户和内容三个要素。

目前，文章的讨论已经越来越集中到以数据/馆藏、系统/技术、用户/使用为代表的三分层。杨谦^［16］从国外的评价项目入手来探讨，刘兹恒等^［13］是从基本的要素和功能入手来探讨评价的对象，还有王海娟^［6］是先从对数字图书馆分类入手探讨。

杨谦^［16］通过对TREC、HCI和ADL三个项目的优缺点的分析，综合三个项目的结果，选择用户和使用、数字馆藏、系统技术作为数字图书馆评价的对象。

乔欢^［15］对用户群、作者分出了三个层次：用户、项目实施者和管理者、相关社会群体。数字馆藏作为评价客体，可以分为四个层面：（1）馆藏；（2）数字对象；（3）元数据；（4）数字项目。并对四个方面的评价范围作了详细的描述。

王海娟^［6］的研究除了包含上面的馆藏、技术和服务三个方面外，还加入了“管理”这一因素。对于数字图书馆这个复杂的系统，管理显得尤为重要，因此，作者加上了“管理”这个对象。

3.研究了数字图书馆评价指标体系

评价指标体系不仅能反映评价内容的本质特征，也是其具体表现形式。霍丽萍等［9］给出了数字图书馆评价指标体系要遵循五大指导原则：评价体系的导向性原则；评价对象的确定性原则；评价标准的通用性和灵活性原则；评价体系的科学性原则；评价手段的技术性原则。

王鉴辉^［18］认为评价体系的思路与方法可以着重从以下五方面来论述：数字图书馆办馆条件；数字化馆藏资源；网络化信息服务水平与信息利用率；数字图书馆馆员队伍；数字图书馆综合效益。此外，他在《数字图书馆评价指标体系初探》^［6］中提出了由馆藏、技术、服务、管理四个部分构成的数字图书馆评价指标体系。杨慕莲^［19］构建了分级评价指标与权重评价指标两种指标体系模型，给出了8个一级指标，并对其中的内容性指标作了较详细的举例说明。

4.探讨了数字图书馆评价技术方法

国内常用的评价方法有计量评价法、等级计分评价法、调查评价法3种，一般混合使用。徐婧［20］认为用层次分析法来确定评价的指标体系有概括性强、指标定义清楚、解释标准化、规范化、判断明确等优点，适用于数字图书馆建设成果的评价。李颖^［21］运用PHIMA－U模型并结合特尔斐技术和层次分析法来量化评价。总之，数字图书馆评价实践需要通用的、有适应性的方法，对原有评价技术方法的改进或创新十分重要。

5.探讨了数字图书馆知识产权、管理的效果的评价

张文德^［22］针对数字图书馆资源的知识产权评价内容，认为可以参考现有的知识产权评价办法进行定性、定量与经验相结合的方法来评价。

综上所述，目前国内数字图书馆评价的研究还存在一些问题与缺陷，即偏重于介绍国外研究成果，而国内研究缺乏系统性。当前研究存在的问题与不足具体表现如下^［11］：

1.缺乏实证性研究

目前国内或国外大部分文献缺乏有力的数据和案例支持，对一些特定的数字图书馆项目做调查研究的不多，研究结果整体上偏于理论探讨，应用研究少，因而缺乏针对性和实用性。所以数字图书馆评价不仅要关注较多基本理论问题的研究，而且要重视应用型研究领域的评价工作。值得一提的是，刘文梅［23］研究了已提出的22个评价指标在我国实践背景下的适用性。其研究有典型性和示范性。

2.研究深化程度不够

国内有相当一部分文献尽管重视国外数字图书馆研究理念，但对国外研究成果只做泛泛的描述和介绍，缺乏对构建深入、系统的评价框架和实施方法、技术问题的探索。也就是说，在吸收发展国外成果的基础上取得的新成果并不多，许多文章是在翻译国外文献的基础上稍加整理完成，这样的研究不够深入，也难以形成自己的特色。另一方面，数字图书馆本身的多样性和复杂性决定了在其评价研究中可以运用多领域、多学科的理论和方法从多角度着手。但从目前看，运用程度的不够是导致学者研究视角和范围褊狭、制约研究深入和创新的原因之一。