基于内容感知的质量评价方法

6.3.3.1　项目分析

如上所述，预调研共发放问卷140份，收回有效问卷101份，并进行同样的项目分析。结果表明量表的总体Alpha系数为0.857，并且删除任一指标项Alpha系数都会减少，各题项与总分均呈显著相关，各指标的高低分组t检验均达到0.05的显著相关（其中t值最高为6.684、最低为2.625）。说明量表具有较好的内部一致性，24个题项予以进行全部保留。全部24道题项构成量表的巴特利特球度检验统计量的观测值为931.969，相应的显著性水平为0.000，KMO的值为0.702，考虑到预调研样本数量较少，说明量表适合进行因子分析。于是，用该问卷进行较大规模的正式调查。

6.3.3.2　探索性因子分析（Exploratory Factor Analysis，简称EFA）

正式问卷调查以付费的方式委托问卷星进行，共向“中国学术论文在线”人文社会科学用户发放问卷550份，收回有效问卷496份，从这496份中随机抽取248份进行探索性因子分析。

正式调查样本的KMO值为0.834（由于样本数量增加，KMO值比预测试时明显增大），巴特利特球度检验统计量的观测值为931.969，相应的概率p值接近于0，说明量表非常适合进行因子分析。

第一次因子分析尝试提取特征根值大于1的公因子。得到6个，旋转后所提取因子的共同度除题项“语法正确”“不带宣传”“广度”低于0.5以外，其他题项的得分都超过了0.5，其中最小值为0.512，最大值为0.744。6个提取公因子的累积方差贡献率为61.422%（超过了50%的临界值）。共同因子得分中有三道问题项的区分度不佳，其中“语法准确”在公因子1和公因子3上的得分分别为0.447和0.373、“具有广度”在公因子2和公因子3上的得分分别为0.370和0.322、“逻辑相关”在公因子4和公因子5上的得分分别为0.388和0.486，均没达到0.5的临界要求，区分度不明显。因此，需要进行第二次因子分析。在进行第二次因子分析之前，首先将“语法正确”“不带宣传”“具有广度”“逻辑相关”这4个指标问题项删除。

第二次因子分析时，尝试提取5个公因子。计算得到量表的巴特利特球度检验统计量的观测值为1850.93，相应的概率p值接近于0（即显著性水平为0.000）；KMO的值为0.807，说明量表适合进行因子分析。旋转后提取因子的共同因子除题项“深度”和“及时性”的得分低于0.50以外，其他题项的得分都超过了0.5，其中最小值为0.519、最大值为0.749，5个提取公因子的累积方差贡献率为61.172%（超过了50%的临界值），说明所提取公因子具有一定的代表性。在共同因子得分中，有2个指标题项的公因子区分度不佳，其中“深度”在公因子1和公因子3上的得分分别为0.479和0.381、“及时性”在公因子2和公因子5上的得分分别为0.258和0.399，低于临界标准0.50，于是，将这2个问题项删除并进行第三次因子分析。

第三次因子分析时，仍尝试提取5个公因子。计算得到量表的巴特利特球度检验统计量的观测值为1804.607，相应的概率p值接近于0（即显著性水平为0.000），KMO值为0.791，说明量表适合进行因子分析。旋转后各题项在提取共同因子的得分都超过了0.50的临界标准，其中最小值为0.513、最大值为0.768。5个提取公因子的累积方差贡献率为64.173%（大于50%），说明所提取因子具有一定的代表性。所提取公因子如表6-13所示。

表6-13　基于内容感知的第三次旋转成分矩阵a

续表

(www.xing528.com)

注：a.旋转在7次迭代后收敛。
提取方法：主成分。
旋转法：具有Kaiser标准化的正交旋转法。

理论构建的基于用户感知的人文社会科学网络学术信息资源详尽质量评价模型包含7个维度（见表6-5），可实证研究只能提取出5个公因子，与理论模型并不完全符合。表6-13和表6-5的对比表明，实证研究结果支持理论评价模型中权威性、准确性、相关性和新颖性等。其中相关性除了剔除“逻辑相关”1个指标之外、其余3个指标与理论模型完全一致；新颖性包含了“实时性”指标、实时性强的学术信息其内容也相对新颖（因为是最新或最近的信息）；准确性增加了一个“逻辑一致”指标、其余4个指标与理论模型中准确性所隐含的指标完全一样；权威性包含原维度构念中的2个指标（学术语言、论证充分）、增加了客观性构念中的“考据考证”“不含偏见”2个指标，考察这2个指标的属性和问卷描述、这2个指标对于内容权威性和客观性的反映实在具有很大的重合或交叉（信息的权威性要求信息具有客观性，同时信息的客观性也反映信息的权威性），因此这4个维度与理论模型基本相同、可以包含在测量量表中。理论模型中的时效性维度的2个指标，1个被剔除（及时性）、另1个（实时性）被合并到新颖性维度中；理论模型中的覆盖度维度的2个指标全部被剔除（广度和深度），说明用户在对具体的学术信息进行判断时无暇顾及信息覆盖的深度和广度；理论模型中客观性构念的3个指标，1个指标（广告宣传）被剔除、另2个指标（考据考证、不含偏见）被合并到第1个公因子（即权威性）中；理论模型中的权威性构念剩余3个指标（价值立场、学术取向、专业程度）被包含在公因子3中，说明这3道题项以及原先所提出的权威性构念应该重新被定义，结合价值立场、学术取向、专业程度这3个指标项的属性特征，对之前的理论模型进行修正，将这3道题项归入一个新的构念——学理性（见表6-13），即作者是以学理的形式来描述和解决问题、有着很强的专业性，如使用公认的领域概念范畴、理论逻辑等。劳凯声认为学理研究具有以下三个基本特征^[64]：其一，是一种范式研究；其二，是一种创造性的反应（包括能证伪、能成一家之言、能建立新的逻辑体系等3个条件）；其三，是一种与实践保持一定距离的研究。

6.3.3.3　验证性因子分析（Confirmatory Factor Analysis，简称CFA）

探索性因素分析的目的在于确认量表因素结构，偏向于理论的产出而非检验。当要探究量表或问卷建构的效度时，需要进行验证性因素分析，以借助数学程序评估、考察理论观点所导出的计量模型是否适当、合理。本研究使用探索性因子分析得出的量表因素结构与理论构建模型并不完全相符，因此，运用验证性因子分析进一步探究所得因素结构的合理性。采用496份有效问卷的另外248份问卷作为样本数据并借助AMOS软件进行。第一步，用经过探索性因子分析筛选出的量表题项构建二阶初始结构模型（即纳入验证模型）；第二步，采用极大似然法进行验证性因子分析，最初得到的变量回归系数虽然具有统计显著性（如表6-14所示），但模型的拟合效果并不十分理想，衡量拟合效果的重要判别指标卡方值与自由度的比值为2.948（卡方值为383.241、自由度为130），高于2.0的建议阈值，反映模型适配度的指标如GFI、CFI等也都没有达到0.9的推荐阈值，因此，模型需要进行修正。

表6-14　验证性因子分析中的变量回归系数

经过观察，发现模型修正指数MI显示初始模型的多个变量间可能存在未在得到体现的相关关系，于是，在不违反结构方程模型修正的一般原则的前提下，参考MI数据对初始模型进行修正。首先选择MI值最大的路径添加变量关联，然后重新进行一次分析、对模型进行检验，再选择次大的MI值进行类似的操作……依次反复，直至添加第4条关联路径，此时，结果表明模型的适配程度有了较大的改善和提高（见图6-10），说明路径添加是合理的（实际上资料真实与内容可查、不含偏见与考证考据、需求相关与独特性、证据相关与新奇性等指标项之间确实也存在一定程度的相关，所以其误差变量之间存在一定程度的相关关系）。修正后的模型路径系数都具有统计显著性（p=0.000），取值范围也在0.51和0.86之间（见图6-2），所增加的4条修正路径也都在p=0.000的水平上显著，说明修正后的人文社会科学网络学术信息资源详尽质量评价模型拟合效果较好。模型的拟合检验结果如表6-15所示，各项模型适配度指标数值都在判定标准的范围之内，说明模型通过了验证性因子分析检验、拟合效果较好。由此验证本研究经过探索性因子分析筛选的人文社会科学网络学术信息资源质量测评量表的有效性。但缺陷是调查样本仅仅覆盖了国内中文用户、没有对世界上广泛使用的英语用户进行调查，限制了结论的广泛性和普遍性。

表6-15　人文社会科学网络学术信息资源详尽质量测评模型CFA拟合指数

易丹辉.结构方程模型方法与应用［M］.北京：中国人民大学出版社，2008：127.

图6-2　标准化估计值结构模型图