情景判断测验开发：关键事件调查、试题编写与项目权重确定

在确定了情景判断测验的测量构思后，本研究通过关键事件调查作为测验开发的基础。McDaniel等（2001）有关情景判断测验效度的元分析研究已经表明，基于工作分析的情景判断测验在测验效度上要远高于非基于工作分析的测验，特别是工作内容的关键事件分析，可以很好的提高情景判断测验的效度。

为了能够提高情景判断测验的效度和针对性，本研究在关键事件技术基础上，对来自杭州、上海的25位管理人员进行了关键事件问卷调查，这些管理人员主要来自管理及业务部门。关键事件调查主要涉及管理过程中有关人际关系、问题解决、业务开拓、决策判断和情景适应等方面的内容。

根据Flanagan（1954）等在关键事件技术方面的研究成果，本研究在编制关键事件问卷的每个问题时，都根据Flanagan等对关键事件的完整性要求，分成三个部分：一是相关关键事件发生的原因及背景；二是解决事件遇到的难题和当时可能的解决方案；最后部分是被试采取的实际措施及取得的效果。

通过关键事件调查，本研究共收集到有效关键事件133个，为情景判断测验的开发提供了较好的素材。

在所收集的关键事件素材基础上，本研究通过情景试题的编写和项目权重确定，在完成了情景判断测验的初稿以后，本研究对情景试题项目权重进行确定和赋值（Motowidlo，Dunnette，Carter，1990）。本研究主要采用了专家判断作为项目权重确定的基础，为此，设计了情景判断测验专家判断问卷，由7位人事选拔与评价方面的专家对每个项目进行评价，这些专家由两个方面的人员组成，一是企业资深人力资源经理；二是工业与组织心理学家和人力资源管理方向的专家（SME）。专家判断调查采用背靠背独立评价的方式，测验的指导语如下：(www.xing528.com)

测验指导语：情景评价方法是目前人事选拔和评价中应用的非常多的一种形式，从应用的情况来看，该测验形式具有很好的效果。本项调查的目的是为了研究情景评价方法、提高情景测评方法的可靠性，我们需要通过专家对测验中各个行为选项对解决情景问题的有效性作出评价。因此，希望您能够对每个行为选项做一个专家判断。非常感谢您的合作！

评价过程中采用7点量表形式，在专家评价的基础上，本研究对7位专家评价信度和项目权重分别进行了统计分析。我们采用ICC（intraclass correlation）作为专家评价信度指标。从分析结果看，专家评价间的内部一致性（Cronbach α系数）达到了0.86，专家评价间单一测量信度为0.46，在0.05水平显著。这说明专家的行为选项有效性评价具有较好的信度。

为了确定情景试题各项目的权重，本研究对各位专家评价间的均值进行了统计，作为项目赋权的基础。根据每个项目的平均得分，本研究确定了各个项目的权重（Motowidlo，Dunnette，Carter，1990；Weekly，Ployhart，2002）。通过几个阶段的调查和编制，这样，本研究形成了由25个项目组成的情景判断测验题本，作为本研究的主要测验之一。