情景判断测验信度研究结果显示重测信度为0.84

情景判断测验的信度是研究者讨论比较多的一个主题，情景判断测验与认知测验有着很大的区别，因此，在测验信度的要求和评价上也有别于认知能力等测验形式（王重鸣，2002）。认知类测验的开发一般遵循着同质量表开发思路，测验开发过程中首先形成一个有关测验构思的理论假设，作为测验项目开发的指导。在项目的选择上，测验开发者往往会选择那些与测验总分之间存在高度相关的项目，以保证测验具有良好的内部一致性，这种基于内部同质性选择项目的方法产生的测验称之为同质量表（Ghiselli，Campbell，Zedeck，1981）。由于这种方法产生的测验更多的是基于理论基础的，同一测量构思下的每个项目都是用于反映这一个特定构思，测验项目之间如果存在较好的内部一致性，我们认为该测验对测量该构思是有一定的可靠性的。通常，这种测验的信度系数可以通过Cronbach α系数或折半信度来检验。

不管是从测验形式上，还是从理论上看，情景判断测验与同质量表之间存在着明显的不同，首先，情景判断测验中涉及的问题并不象同质量表一样，每一个项目都反映单一维度，情景判断测验项目存在一定的情景特定性（Bycio，Alvares，Hahn，1987；Schmidt，et al，1993），因此，情景判断测验除了测量到研究者感兴趣的构思内容以外，在某种意义上还部分的反映了个体在各种情景下的不同行为表现。其次，情景判断测验从开发思路上更加注重测验的生态效度，它在反映研究者感兴趣的构思内容外，非常关注测验情景的多样性，通过让被试经历多种不同的工作情景，来评价个体在不同情景下的行为表现。因此，对于情景判断测验而言，测验项目间的内部一致性并不能很好的反映测验的信度水平。情景判断测验的早期研究并没有很好的注意这个问题，因此，在测验信度方面也没有很好的证据支持。Motowidlo，et al（1990）发现，在他们的研究中，情景判断测验的内部一致性系数为0.56。同时，他们也指出：情景判断测验并不是绝对的测量一个特定的构思，内部一致性系数可能不是特别适合于该种测验的信度评估，认为重测信度系数更能有效的评估情景判断测验的真实信度水平，但是，由于研究所限，他们并没有对情景判断测验的重测信度进行检验。虽然在1990年以后有很多有关情景判断测验方面的研究，但是，很少有研究对情景判断测验的重测信度进行检验（Borman et al，1993；Funke，Schuler，1998；MaDaniel，et al，2001）。近期，Ployhart（2002）在他的博士论文研究中，通过学生样本，对测量个性特征的情景判断测验重测信度进行了检验，从研究结果看，情景判断测验的重测信度为0.84，为情景判断测验的信度提供了有力的支持。Ployhart的研究在克服了内部一致性信度评价方法缺陷的基础上，通过重测信度研究对情景判断测验的信度水平进行了估计，解除了一直以来研究者对于情景判断测验信度的困惑。(www.xing528.com)

从情景判断测验信度研究的总体情况来看，有关情景判断测验信度的研究还是相对较少。但目前的研究是令人鼓舞的，我们可以认为，对于与情景判断测验相似的非认知测验，在测量信度的评价方面，重测信度评价方法要优于内部一致性系数评价方法，特别是如果情景判断测验的开发采用的是实证计分方法，在这种情况下，内部一致性系数很难真实的反映测量的信度水平。