人文社会科学网络学术信息评价方法

在对人文社会科学网络学术信息资源有无采访的价值进行定性判断之后，需要进一步对其采访价值高低进行综合评价。所用到的方法主要包括德尔斐法、层次分析法、信息计量法和综合评价法以及专家评议法等，详见图5-3^[2]。

图5-3　人文社会科学网络学术信息资源评价流程与方法

5.1.4.1　德尔菲法

德尔菲法是一种背对背的征询专家意见的调研方法，采用匿名发表意见的方式，针对特定问题采用多轮专家调查，专家之间不得互相讨论，不发生横向联系，只能与调查人员发生关系，通过多轮次调查专家对问卷所提问题的看法，经过反复征询、反馈、修改和归纳，最后汇总成专家基本一致的看法，作为专家调查的结果。德尔菲法可以有效地消除成员间的相互影响，可以充分发挥专家们的智慧、知识和经验，最后能得出一个较好反映群体意志的判断结果。作为一种主观、定性的方法，德尔菲法在各类评价工作中也有广泛的应用，如用于评价指标的筛选、指标的定量打分等。

5.1.4.2　层次分析法

层次分析法（Analytic Hierarchy Process，AHP）是美国运筹学家T.L.Saaty教授于20世纪70年代初提出的一种定性和定量相结合的多目标决策方法，它把一个复杂问题分解成若干组成因素，并按支配关系形成层次结构，然后应用两两比较的方法确定各因素（包括指标和方案）的相对重要性，然后计算各因素的权重，并以此为基础实现对不同决策方案的排序。层次分析法简便、灵活而又实用，是一种系统化、层次化的分析方法，它为复杂评价问题的决策和排序提供了一种简洁而实用的建模方法。

（1）层次分析法的步骤

1）构造递阶层次结构模型。

根据人文社会科学网络学术信息资源的评价对象和评价标准，确定目标层、准则层和指标层。目标层是需要达到的预定目标，关于某类人文社会科学网络学术信息资源采访价值大小的评价；准则层指评价的维度或判断的角度；指标层是从准则层分解出来的各种可测量的因素或指标。

2）判断矩阵的建立。

递阶层次结构构造完成之后，要对同一层次的元素相对于上一层次的某个元素进行两两比较，并按比例标度构造出判断矩阵。比例标度参照如表5-1所示。

表5-1　比例标度参照表

续表

3）单层次排序与一致性检验。

通过计算判断矩阵的最大特征根和特征向量，可以排序出对于上一层次某个因素的相关指标的重要性。然后参考相关一致性指标及其阈值，进行一致性检验，如果判断矩阵未通过一致性检验，则需要对原判断矩阵进行修改，直至通过一致性检验。

4）计算各指标权重。

人文社会科学网络学术信息资源评价的各指标组合权值就是各个评价指标对于目标层评价的重要性程度。

假设准则层A有m个因素Ai，A2，…，Am，指标层B有n个因素B1，B2，…，Bn对于Aj的单层次排序权值b1，b2，…，bn（当某一因素Bk与Aj无联系时，bkj=0），那么，B层次对

目标层的合成权值计算方法可由如下公式得到：

（2）层次分析法指标权重计算举例

假设选取网站规模、网站流量、网站被链接数量、网络显示度、内容丰富度、网站PR值这6项指标来构建高校IR网络影响力评价指标体系，如图5-4所示。

首先，利用层次分析法构建评价体系的层次结构（见图5-4）；其次，利用德尔菲法获得各指标的权重。邀请了7位专家参加德尔菲法的调查，经两轮调查后，判断结果趋向一致；然后，利用萨迪（T.L.Saaty）提出的1～9标度方法，构建判断矩阵（见表5-2）；最后，对数据进行计算，得出各指标在评价体系中的权重。

图5-4　高校IR网络影响力评价指标体系

表5-2　判断矩阵A-C

使用Matlab7.0求表1的判断矩阵A-C的最大特征值及相应的特征向量，得：

对判断矩阵A-C进行一致性检验，得：

(www.xing528.com)

其中，CI（Consistency Index）为一致性指标；RI（Random Index）为平均随机一致性指标；CR为一致性比率。当CR＜0.1时候，可以认为判断矩阵具有满意的一致性。因此，表5-2的判断矩阵A-C具有满意的一致性。

根据以上计算结果，可得各指标的权重，见表5-3。

表5-3　高校IR网络影响力评价指标权重

5.1.4.3　综合评价法

综合评价（comprehensive evaluation，CE）是指被评价对象所进行的客观、公正、合理的全面评价。综合评价的过程是各组成要素之间信息流动及组合的过程，是一个主客观信息集成的复杂过程。综合评价问题的经典处理过程是：明确评价目的；确定被评价对象；建立评价指标体系（包括收集评价指标的原始值，评价指标的若干预处理等）；确立与各项评价指标相对应的权重系数；选择或构造综合评价模型；计算各系统的综合评价值并进行排序或分类^[3]。所以，综合评价由5个要素组成，即评价对象、评价指标、评价权重、评价模型和评价主体。

（1）评价对象

同一类被评价对象的个数要大于1，才可以进行比较和参照。假定（均为同一类的）被评价对象或系统分别记为s1，s2，s3，…，sn（n＞1）。

（2）评价指标

各系统的运行（或发展）状况可用一个向量x表示，期中每一个分量都是从某个侧面刻画系统所具有的某种特征大小的度量。评价指标体系的建立，要视具体评价而定，一般遵守系统性、科学性、可比性、可测性和相互独立性等原则。不失一般性，设有m项评价指标并依次记为x1，x2，…，xm（m＞1）。

（3）权重系数

相对于某种评价目的来说，评价指标之间的相对重要性是不同的。评价指标之间的这种相对重要性的大小，可用权重系数来刻画。若wj是评价指数xj的权重指数，一般应有wj≥0（j=1，2，…，m），。

很显然，当被评价对象及评价指标（值）都给定时，综合评价（或对各被评价对象进行排序）的结果就依赖于权重系数了。即权重系数确定的合理与否，关系到综合评价结果的可信程度，因此，对权重系数的确定应特别谨慎。

（4）评价模型

所谓多指标（或多属性）综合评价，就是指通过一定的数学模型（或算法）将多个评价指标值“合成”为一个整体性的综合评价值。可用于“合成”的数学方法较多，问题在于我们如何根据评价目的（或准则）及被评价体系的特点来选择较为合适的合成方法。也就是说，在获得n个系统的评价指标值｛xij｝（i=1，2，…，n；j=1，2，…，m）的基础上，如何选用或构造集结模型（综合评价函数）：

y=f（w，x）

式中，w=（w1，w2，…，wm）T为指标权重向量；x=（x1，x2，…，xm）T为系统的状态向量。

由式可求出各系统的综合评价值yi=f（w，xi），xi=（xi1，xi2，…，xim）T

为的i个系统的状态向量（i=1，2，…，n），并根据yi值的大小（由小到大或由大到小）将这n个系统进行排序和分类。

（5）评价主体

评价主体可以是某个人或某团体。评价目的的给定，评价指标的建立，评价模型的选择，权重系数的确定都与评价主体有关。

综合评价需要注意的是，由于各指标的内容和内涵不同，指标形式上也不一样，如指标有绝对数、相对数、平均数等形式，即同一类型的指标，它们的量纲和数量级也可能不同，所以，需要进行无量纲化处理，将指标实际评价值处理为可以进行综合的指标数值，以解决多个指标的可综合性问题。无量纲化时，常采用如下方法：

①“中心化”处理，即令：

式中，，s分别是指标观测值x的样本平均值和样本均方差。

②“极差化”处理，即令：

③“极大化”处理，即令：

④“极小化”处理，即令：

上式中的m、M分别为指标观测值x的最小值和最大值。