如何筛选评价指标？

本书采用界值法对评价指标进行筛选，根据公式（5.1）、公式（5.2）和公式（5.3）计算重要性得分，即算数平均数和变异系数，两者的计算方法如下：

算数平均数界值公式：界值=均数Mj-标准差δj，均数＞界值，纳入；

变异系数界值公式：界值=均数Mj+标准差δj，系数＜界值，纳入。

若指标的算数平均数和变异系数均不符合纳入标准将被剔除，若只有一个不符合要求的指标，依据完整性、全面性、可行性的原则并结合专家开放性问题中的意见和建议，经讨论协商决定是否将该指标纳入。

1.第1轮专家问卷

（1）专家小组确立

第1轮专家问卷调查的目的通过专家专业的评判来衡量维度、内容和题项是否具有针对性和科学性，并对不适合的指标提出修改意见，避免由于概念表达不清导致出现分歧，影响专家集中程度。

本轮发出专家问卷24份，回收21份，回收率87.5%。专家信息表详见表5-1所示。

表5-1　专家信息表

（2）第1轮评价指标筛选

根据公式（5.1）、公式（5.2）和（5.3）计算算数平均值（集中度）和变异系数（协调度）的详细结果如表5-2所示。

表5-2　第1轮专家调查结果统计

续表(www.xing528.com)

根据界值法计算公式得出算数平均数的界值为3.342，变异系数的界值为0.3947。第1轮专家咨询结果表明专家对C3、C4、G2、G3、H3、I1、I3、J4、K4、L2、L3、M3共12个指标的重要性和一致性存在较大分歧，指标的算数平均数小于界值，且变异系数大于界值，因此将这12个指标剔除，如表5-2中灰色部分所示。其余指标的算数平均数均大于界值，表明专家认为这些指标的重要程度均在一般以上。Mj＞3.342且Vj＞0.3947的指标有一个H4，根据筛选原则结合第1轮专家问卷开放性问题中对一级、二级指标整体设计的建议，对初步指标作出以下调整：

（1）一级指标调整

在第一轮专家问卷开放性问题的回答中，专家对自我形象、个人重要性、感知愉悦性、名誉、社会认可、奖励、时间成本、学习成本、知识产权这些一级指标的划分提出意见，专家认为如自我形象、个人重要性是归属于动机期望维度中的成就价值，若将这些指标因素单独作为一级指标容易产生歧义，与专家问卷社会资本维度和社会认知维度的指标级数不相匹配。因此，综合专家意见将自我形象、个人重要性合并，归入一级指标成就价值，感知愉悦性归入内在价值，名誉、社会认可、奖励归入实用价值，时间成本、学习成本和知识产权归入代价中，经调整后一级指标由14个降为9个。

（2）二级指标调整

因原一级指标的归并，需要对其下的二级指标进行整合和删减，原二级指标A1～A4、B1～B4归入成就价值一级指标中，为避免语义重复、双重含义的出现，将自我形象A1～A4整合为“通过持续知识贡献完成众包任务获得赞同、尊重，可以建立正面的自我形象”。为了体现成就价值的核心含义个人重要性，原有二级指标基本保留，将B3、B4合并“总的来说，用户持续知识贡献能够体现个人在某领域的重要性”。内在价值的二级指标因C3、C4在指标筛选中剔除，保留其他指标不做调整。实用价值的二级指标除了剔除的指标外，将D1～D4合并为“用户持续知识贡献有助于我获得名誉、声望”，E1～E4合并为“成功完成任务有助于社区对我的认可”，合并F1、F2“完成众包任务有助于我获得更多的积分或用户级别”，为避免语义重复剔除F5，修改原有指标F6为“总的来说，用户持续知识贡献有助于我实现未来目标”。代价的二级指标在综合原有时间成本、学习成本和知识产权的基础上，对剔除后的指标进行归并和整理，避免重复删除原有总结概括式指标G5、H4，将原有I4指标修改为“总的来说，付出的代价（时间、精力）会阻碍持续知识贡献”。社会规范的二级指标专家指出有些表述欠妥，不属于社会规范的范围，保留原有指标L4，剔除总结概括式指标L5，将L1～L3指标表述依次修改为“对我有重要影响人认为使用众包知识贡献是有意义的事”“众包平台有合作和协作的规范”“大众媒体对众包平台的宣传提倡用户知识贡献和分享经验，我会考虑继续参与众包”。

（3）其他内容的调整

对整个问卷的称呼和表述方式进行修改，将第一轮专家问卷中涉及的“用户”统一改为第一人称“我”，方便专家理解其含义。

2.第2轮专家问卷

第2轮专家问卷是向参与第1轮咨询的专家继续发放，此轮共发放问卷21份，回收21份，回收率为100%。依据第1轮专家问卷统计数据分析的过程，计算各指标均数、标准差和变异系数，如表5-3所示。

表5-3　第2轮专家调查结果统计

续表

按照第1轮对专家意见评价筛选的方法，计算得出算数均数的界值为4.095，变异系数的界值为0.194。社会规范的二级指标G3、G4的Mj和Vj均不符合界值标准，且两指标均属同一一级指标，说明专家对社会规范影响用户持续知识贡献的意见存在一定的分歧，这可能是因为部分专家考虑到社会规范对用户参与众包持续贡献知识的影响相比用户最初通过众包平台参与任务的影响更为突出，用户对众包平台在持续行为阶段已经有了一定的认识，周围重要的人对众包的宣传或推广对其持续行为的影响可能不大，社会规范对用户持续知识贡献行为是否有影响，留待用户调查时再评判，保留G3、G4题项。其余所有指标均满足算术平均数界值和变异系数界值的要求，表明专家意见协调程度较高和集中程度较高，指标及量表均可用于后续实证研究。