情景判断测验效度研究成果：效标关联效度和总体效度证据

情景判断测验效度证据

效标关联效度是情景判断测验的一个重要参数，因此，效标关联效度无疑是以往情景判断测验中的焦点问题。以往的研究和实践表明：情景判断测验具有很好的效标关联效度和生态效度，是一种行之有效的测评工具，它可以较好的预测个体现在和将来的工作表现。Motowidlo等人以理性思路开发的纸笔式管理判断情景测验相对于人际效能、问题解决效能和沟通效能等几种绩效评价指标的效度在0.28到0.37（Motowidlo，Dunnette，Carter，1990）。在Motowidlo，Tippins（1993）的同时效度研究中，发现了0.28的效标关联效度，而预测效度研究中情景判断测验的效度为0.25。Pulako，Schmitt（1996）进行的同时效度研究中发现：相对于两类效标而言，情景判断测验的效度分别为0.20和0.14。Borman等人为军队服务开发了困难情景的管理判断情景测验，在军队570个新任主管的研究中发现情景测验得分与上级的绩效评定之间的相关达到0.22（Borman et al，1993）。Weekley，Jones在1997年对基于视频的情景判断测验进行了研究，在一千多名兼职服务工人的研究中发现，在交叉效度验证中，情景判断测验的效度在0.20以上；此外，他们通过对服务部门在职人员的大样本调查，发现纸笔式情景判断测验与总体绩效之间的相关为0.19（Weekley & Jones，1999）。Smith，McDaniel开发的实证计分的情景判断测验，在多种工作职位中，这种情景判断测验相对于绩效的效度在0.30左右。在内隐知识的研究中，情景判断测验也是经常被采用的一种评价内隐知识的方法，Sternberg，Wagner等人在他们的研究中发现管理判断情景测验得分与多项效标之间存在0.20-0.40的相关。此外，在Clevenger等人的实证研究也表明了情景判断测验有较高的效标关联效度（Weekley，Jones，1997，1999；Clevenger et al，2001）。

在以往研究的基础上，McDaniel等人进行了情景判断测验对工作绩效预测效度的元分析分类研究。结果发现情景判断测验估计的总体效度为0.34，并且，在90%位置信区间内效标关联效度系数皆为正值，这一结果表明情景判断测验具有很好的效标关联效度和较好的概化效度。这些证据表明情景判断测验可以与人事评价与选拔中的很多指标相媲美。

表4-2　在绩效提高方面关于情景判断测验构思领域的效标关联效度

续　表

情景判断测验效标关联效度影响因素研究

情景判断测验开发过程中，情景项目的选择方法可以分为关注内部一致性的同质量表开发方法、关注与其他预测指标相关的构思效度方法和关注效标关联效度的实证项目选择方法。这些方法选择情景项目的标准分别如下：

（1）内部一致性项目选择方法。在这种方法下，选择那些项目——总体间相关最高的情景项目，或者是根据情景判断测验中各子测验的内部一致性选择情景项目的去留；(www.xing528.com)

（2）实证项目选择方法。这种方法强调选择那些与效标之间相关最高的情景项目，从而保证测验的效标关联性；

（3）基于构思效度的项目选择方法。这种方法选择那些与其他预测指标间相关最高的情景项目。

有关情景项目选择方法以及它们对测验效度影响的研究相对较少，但还是有一些实证的证据。近期Waugh在美国军队一个有关情景判断测验的实证研究中发现，基于情景项目与效标之间相关的实证方法开发的情景判断测验，虽然在交叉效度验证中，由于受开发思路的影响，测验的效标关联效度会有一定程度的缩水，但是，总的来说，这种情景项目选择方式具有更高的效标关联效度。

为了探究影响情景判断测验效度的一些缓冲因素，McDaniel，et al（2001）对以往的情景判断测验研究进行了元分析，在他们的元分析中引入了四个缓冲变量对测验的效度进行了分类比较。如表4-3所示为研究结果，从结果可以看出，工作分析对情景判断测验的影响很大，基于工作分析的情景判断测验效度要明显高于非基于工作分析的情景判断测验。工作分析，特别是工作分析中关键事件技术的应用，可以较好的提高情景判断测验的效度。同样，从研究性质看，同时效度研究中情景判断测验的效度要高于预测效度研究，而情景问题的具体化程度等对情景判断测验的效度影响不大。

表4-3　情景判断测验的效度分类研究结果