国外数字图书馆馆藏服务的评价指标体系介绍

第二节　国外数字图书馆馆藏服务的 评价指标体系介绍^［55］

上个世纪90年代以来，数字图书馆的馆藏在图书馆预算中所占的比重越来越大。以ARL的成员馆为例，2000年至2001年，ARL成员馆在电子资源方面的投入从3.6%升到16.25%。我国的相关统计显示，一些地区的图书馆的电子资源的购买经费已达到总经费的30%左右。图书馆的用户是否真正从数字图书馆的电子资源方面的重大投资获得了相应的价值，就需要使用相关数据及指标对数字图书馆的馆藏服务进行评价，从而为数字馆藏不断增加的经费投入提供依据。上个世纪90年代中期以来，有关数字馆藏的使用统计及服务绩效评价的问题引起了国际图书馆界及专家的高度关注。下面对开展的这方面研究加以介绍。

一、ISO2789附录A：

图书馆电子服务使用评价及其指标体系^［56］

由于电子资源及电子服务在图书馆中所占的比例越来越大，ISO的国际图书馆统计数据标准ISO2789（Information and Documenta‐tion International Library Statistics）在2003年的修订版中增加了一个“附录A”。

除传统服务外的电子服务的统计及评价，图书馆电子服务使用评价主要针对的是指定的图书馆电子信息资源和电子服务。该标准所包含的主要内容是图书馆电子信息资源和电子服务的统计指标定义及其数据收集，标准指出了电子服务的统计指标设定、统计指标数据的获取及统计方法等直接关系到图书馆电子服务绩效指标的计算。“附录A”认为图书馆中最重要的电子服务内容是数字馆藏（电子馆藏），并认为统计中的主要问题是：用户访问一次图书馆电子服务需多长时间？每次检索有多少文献（题目或信息单元）与他们的信息需求相关？据此，“附录A”先定义了可用于所有的服务、每一种服务或各种服务的八个统计指标：

（1）任务数；

（2）下载文献的数量；

（3）下载记录的数量；

（4）虚拟访问次数；

（5）一次任务的检索时间；

（6）拒绝访问的任务数；

（7）检索次数；

（8）通过因特网访问的任务数。

使用统计指标均是针对图书馆电子资源的使用、图书馆网站、OPAC及通过图书馆对因特网的访问。“附录A”对以上8个统计数据指标进行了描述，并对每个统计指标的含义及在统计时分别应注意的问题作了详细的说明。

二、EQUINOX及ARLE2Metrics项目背景及其指标体系介绍

EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是适应网络环境下图书馆对电子服务绩效评价的要求。EQUINOX项目同样认为其中最重要且花费最多的服务是数字馆藏。EQUINOX项目研究每一项指标在网络环境下是否适合，同时还参考了与该项目相关的研究，通过研究这些相关的成果来建立图书馆电子服务的绩效评价指标。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，经过进一步的研究讨论，认识到这些指标中的一部分归入ISO11620标准中定义的传统指标更合理；还有一些指标由于可获取性很差也被去掉了。最后于2000年12月形成了由14个指标组成的图书馆电子服务绩效评价指标体系如下：

（1）使用图书馆电子服务的人数占全部用户数的百分比；

（2）目标人群中平均每人使用图书馆电子服务的任务数；

（3）服务人群中平均每人使用远程电子服务的任务数；

（4）每种图书馆电子服务平均每次任务浏览文献及记录的数量；

（5）每种图书馆电子服务中每次任务的成本登录；

（6）每种图书馆电子服务中浏览每篇电子文献或记录的成本；

（7）用电子方式提交的信息请求占全部信息请求的百分比；，

（8）图书馆内计算机工作站的使用率；

（9）服务人群中人均使用图书馆工作站的小时数；

（10）被拒绝的任务数占全部任务数的百分比；

（11）图书馆电子获取的成本占图书馆总获取成本的百分比；

（12）服务人群中平均每人参加正式图书馆电子服务培训课程的次数；

（13）从事发展、管理、提供图书馆电子服务及用户培训的图书馆工作人员占其工作人员总数的百分比；

（14）图书馆电子服务的用户满意度。

三、ARL E－Metrics项目背景及其指标体系介绍

由于图书馆中电子资源的比重越来越大，在2000年ARL的一次会议上，其成员们认识到图书馆和馆员需要一种评价指标体系来判断图书馆在电子资源上的投资是否对其用户有用、有多大用处、用户又是怎样使用这些电子资源等问题。E－Metrics项目就是在此背景下产生的。项目的研究任务由佛罗里达州立大学的信息使用管理及政策研究所来承担。项目于2000年5月开始，2001年12月完成。项目分三个阶段进行：

初始阶段：弄清当前ARL成员馆有关电子资源统计数据、评价指标、处理方法及服务活动的详细情况。

第二阶段：进行统计数据和评价指标的推荐、统计数据收集文件的确认及评价指标的范围测试。

第三阶段：确定评价指标与教育产出研究及技术设施之间的关系。

项目的成果包括1份关于统计数据收集的规则，1套推荐使用的统计数据与评价指标，1份数据收集处理指南，1份指导性文件及1篇论述图书馆评价指标与机构效用之间潜在联系的论文报告。

由于很多与电子馆藏有关的使用数据需要从数据库商那里收集，在项目进行的第二阶段有12家数据库商参加了指标的范围测试，并提供项目需要的指标统计数据。评价指标最终定为20个：

（1）电子全文期刊的数量；

（2）电子参考资源的数量；

（3）电子书的数量；

（4）电子参考咨询的数量；

（5）电子数据库的任务数；

（6）电子数据库的检索次数；

（7）电子数据库请求的检索条目数；

（8）访问图书馆网站及目录的虚拟访问数；(www.xing528.com)

（9）电子全文期刊的成本；

（10）电子参考资源的成本；

（11）电子书的成本；

（12）书目、网络及集团的图书馆费用；

（13）书目、网络及集团的外部费用；

（14）图书馆数字馆藏的容量；

（15）图书馆数字馆藏的使用；

（16）数字馆藏结构及管理的成本；

（17）参考咨询中电子参考咨询的百分比；

（18）所有图书馆访问中虚拟访问的百分比；

（19）电子书占全部图书的百分比；

（20）电子刊占全部期刊的百分比；

四、指标体系分析

上述三个项目关于数字馆藏使用统计及其服务绩效评价的指标体系集中代表了国外众多研究数字馆藏使用、统计、绩效评价指标研究的成果。

1.指标体系的特点

（1）共同特点。三套指标体系均注重量化指标的表达。ISO2789“附录A”中的8个统计指标均是直接从服务器可获取的使用统计量。EQUINOX项目绩效评价指标体系的14个指标中前13个均是定量指标。ARL E－Metrics项目的指标中除“图书馆数字馆藏的使用”及“数字馆藏的结构”比较模糊外，其他的均是具体可获取的统计量或定量绩效评价指标。

（2）不同点。ISO2789“附录A”的8个指标全能通过统计获取，从某种程度上讲，也许不能直接反映图书馆电子服务的服务绩效，但这些是构成数字馆藏服务绩效评价指标必不可少的基本统计量。而EQUINOX项目指标体系基本上是关于数字馆藏服务的绩效指标，指标能直接反映各项服务的服务绩效。ARL E－Metrics项目的20个指标统计的范围较宽，如果统计工作做得好，对以后的绩效评价工作非常有利，会使得评价比较详细、具体；项目把对国外电子数字馆藏使用及服务绩效评价指标体系述评书的统计单独列了出来，而ISO2789及EQUINOX则把电子书归入到电子文件中。

（3）三套指标体系之间的关系。EQUINOX与ARL E－Metrics项目指标体系的研究均是在ISO标准的框架下进行的，ISO2789也是其遵守的标准之一。一方面，EQUINOX、ARL E－Metrics指标体系与其他数字馆藏服务评价指标体系的研究为ISO2789的完善提供了理论与实证的基础；另一方面，它们的共同发展与完善必将使得数字馆藏的评价越来越科学可行。

2.指标体系的构成

（1）ISO2789“附录A”把8个指标按重要程度分为两类，即核心统计指标和相关统计指标，条件允许时尽可能收集。从ISO2789“附录A”的指标看，其构成较单一，均是反映图书馆电子服务的统计指标；其关于数字馆藏使用的统计内容也比较全面、可行。

（2）依据EQUINOX项目指标体系的内容，可将其分为五类：与技术基础设施有关的绩效指标、与人力资源有关的指标、与成本有关的指标、与数字馆藏使用有关的指标、用户满意度指标。从EQUI‐NOX指标的构成可以看出，对图书馆电子服务绩效的评价自始至终离不开系统运行过程中的各种投入及运行结果的产出。

（3）ARLE2Metrics项目的20个指标可分为五类：目标用户群可获取的电子资源量、评价数字馆藏使用的指标、网络资源及相关设施的成本指标、描述图书馆数字化状况的指标、绩效指标。该指标体系的前13个基本上是较易获取的统计量，内容较全，既包括电子资源的数量、使用，又包括电子资源成本方面的统计数据，这样直接用该指标体系即可直接生成绩效评价指标。但其关于使用的指标没有ISO2789“附录A”全面，这样对于一些电子资源服务绩效的评价会有困难，如没有关于全文期刊下载文献量的统计、没有关于人力资源方面的指标等。

3.指标的可获取性

（1）ISO2789“附录A”中关于数字馆藏使用的统计指标基本上均可通过图书馆自动化系统、本地镜像服务器、数据库商或集团较精确地获得，获取性较强。

（2）EQUINOX项目指标体系在设计过程中最后定为14个，其中，剔除了一部分指标；还剔除了一个重要原则，即指标的可获取性，剩下来的14个指标相对来说获取性较强。

（3）ARL E－Metrics的指标中有几个指标描述有些模糊，如“图书馆数字馆藏的使用可获取性”，其他的指标均较容易获取。

总之，评价指标体系在设计上无论怎样完美，如果其指标的可获取性很差，那么该指标体系的实际可用性就无从谈起。

4.指标体系的实践发展

数字馆藏绩效评价指标体系的设计是个复杂的系统工程，不仅要求理论上可行，而且其最终目的是要用之于实践，必须经过实践的测试，用测试的结果反过来修正指标体系，多次大范围的反复测试、修正，最后才能形成一套科学的指标体系；除此之外，还要不断地随着实践的发展而发展。

（1）ISO2789关于数字馆藏使用的统计指标已经被很多研究项目及指标体系所采用（如EQUINOX），实践中的可用性很强。现在被采用最多的指标是：任务数、下载文献的数量及检索次数。

（2）在EQUINOX指标体系的设计研究过程中，参加该项目的图书馆方在他们的图书馆测试了这些指标的可用性及其与图书馆管理的相关性。测试中发现有些指标数据需要一点点地搜集，非常费力；还有一些指标计算起来很烦琐，很困难；有时，部分图书馆的某些电子服务需要的指标数据又不能获得，这使得指标体系必须要不断地进行修订和完善。该指标体系已经在欧洲的一些图书馆中进行实证测试和使用。

另外，该项目基于绩效评价指标体系设计了一个图书馆质量管理及绩效评价的软件工具，这个软件系统是为了帮助图书馆进行绩效评价和质量管理而设计的。这个系统使得图书馆可以为他们自己的国外数字馆藏使用及服务绩效评价指标体系建立一个质量框架，详细说明任务状况、意图及目标，将有关实际绩效和操作的原始数据输入系统，系统利用这些数据可以计算出图书馆绩效指标和预定指标的完成情况，进而对图书馆的数字馆藏进行科学的质量管理。

（3）ARL E－Metrics项目的指标体系研究及建立过程也非常重视实践问题。在第一阶段，项目参与方成立了一个数据库商工作小组来收集数据库商提供的数据，参与的数据库商包括Academic Press等12家；其中的11家数据库商及后来加入的Net library参加了第二阶段的范围测试工作，有16家图书馆参加了指标的范围测试。项目研究人员为每家参与单位提供了一份包含每个指标的详细定义、实例及数据收集过程的范围测试指南。为了更清楚地了解图书馆测试工作的进展及测试中出现的问题，项目组还设计了一份自评表格。

范围测试的结果发现了很多关于统计数据收集的实际问题：从图书馆方面看，由于电子资源的购买、获取及租用方式的多种多样，给使用数据的收集带来了困难；研究项目对指标的定义及过程与很多图书馆的实践不一致，电子数据库系统的易变性及网络资源的分散性使得数据的收集和管理很困难；从数据库商方面看，他们提供的使用统计数据过于简单，使得做任何数据比较都很困难。为了使统计及评价指标更好地用于实践，2002年至2003年，ARL成员馆继续对这些指标进行测试。现在ARL仍在不断研究，以便图书馆能更好地使用电子资源为用户服务。2002年以后，ARL主要通过支持COUN TER（Counting Online Usage of NetWorked Electronic Re‐sources）项目，发展了一套独立的国际上广泛接受的网络数据库使用的统计、实施规范。目前有很多家出版商及图书馆参加了该项目，该规则使得网络信息产品的使用评价更加有效。

五、国外服务绩效评价指标研究的总结及以对我国的启示

（1）国内有关数字馆藏发展及评价的研究应注意理论联系实际。

数字馆藏评价研究应重视把一些有价值的理论成果应用于实践，有条件的可以扩大实践范围并推广之。关于数字馆藏使用及绩效的研究项目应吸纳国外数字馆藏使用及服务绩效评价指标体系述评数据库商参加，促进图书馆方与数据库商的合作，使得绩效评价统计数据的可获取性、实际评价的可行性和科学性更强。

（2）我国可出台或修订相关的国家标准来规范电子资源的使用统计及绩效评价。

美国国家标准组织（NISO）的图书馆统计标准已于2002年7月发布了新版标准草案，增加了有关电子资源评价的内容。数字图书馆的不断发展使得图书馆电子服务的范围越来越大，对数字馆藏使用统计及服务绩效评价的研究已经引起了国际上相关组织与机构的高度重视。随着研究的不断深入及实践的不断发展，我们相信关于数字馆藏使用统计及服务绩效评价的指标体系会更加科学、可行，能更好地促进复合图书馆的质量管理。

（3）我国图书馆及图书馆团体应充分重视数字馆藏使用数据的收集。

虽然目前一些数据库商已经开始向使用其产品的图书馆定期提供使用报告，但这并没有引起图书馆的充分重视，很多图书馆仍然对本地资源系统日志文件的维护不正规，统计数据的收集周期不固定，数据不全，有的甚至根本还没有做这方面的工作。这些使得绩效分析根本无法进行。所以，图书馆或团体在与数据库商签订协议时应增加一条关于统计数据的条款：应定期向用户提供所购数据库或电子期刊的使用统计数据，且要求提供的使用数据遵守一定的规则。

（4）我国的图书馆组织应加强开展关于数字馆藏使用统计及服务绩效评价指标方面的应用研究，为制定图书馆数字馆藏政策提供依据。

目前CA LIS团购的一些外文数据库是依据使用量来定价的（如EI Compendex），使用量大的机构定价就高，这样看来，电子资源的使用统计数据就显得非常重要了。COUNTER项目已经有很多家数据库商及图书馆加入，一些数据库商已开始遵守其实施规范，向用户提供相对规范的使用统计数据。国内的图书馆组织应该通过开展应用研究来影响国内的数据库商，使其重视电子资源使用数据的提供及收集，使得中文数据库的使用统计规范化、科学化，以便于对其进行使用统计和服务绩效的评价，进而指导图书馆数字馆藏政策的制定。

总之，国内必须高度重视数字馆藏使用及其服务绩效评价指标的研究，并将研究成果应用于网络环境下图书馆的质量管理和为数据库商提供的服务，从而有利于图书馆对其订购、租用的数据库进行绩效评价并做出更加科学的管理决策。