测验开发模式对情景判断测验效度的影响研究成果

为了能够对情景判断测验开发模式对效度的影响进行比较，前面已经提到了本研究采用等同样本交叉检验设计。由于在研究设计采用了在相近总体中进行随机取样的策略，能较好地保证测验开发样本与效度检验样本的等同性。这样，可以控制由于不同职务条件下对胜任特征的不同要求以及测验不利影响（Adverse Impact）等对研究结果的影响，从而能够基本保证结果的变异主要源自于不同测验开发模式。

如表9-7所示了不同测验开发模式下，情景判断测验的效标关联效度及其在等同效度检验样本中的效度变化情况。

表9-7　不同测验开发模式对情景判断测验效度的影响

注：R1表示专家判断计分模式下的效标关联效度；R2表示等距计分模式下的效标关联效度；R3表示两端计分模式下的效标关联效度。(www.xing528.com)

从表9-7中可以看出：在测验开发样本中，基于实证开发模式的新版情景判断测验在效标关联效度上明显高于母测验；而基于同质量表开发模式的新版情景判断测验在效标关联效度上与母测验相近。在三种不同计分模式下，基于实证开发模式的情景判断测验在效标关联效度上要比基于同质量表开发模式的情景判断测验高0.08。

为了对两种不同模式下效度差异的稳定性进行检验，本研究在交叉效度检验样本中，同样对两种不同开发模式下效度差异进行了比较。从表9-7中可以看出，在交叉效度检验样本中，三种不同计分模式下基于同质量表开发模式的情景判断测验效度均值为0.31；而基于实证开发模式的情景判断测验效度均值为0.29，基于同质量表模式的情景判断测验的交叉效度要略高于基于实证开发模式的情景判断测验。

由此可见，虽然在测验开发样本中，实证开发模式测验的效度要略高于同质量表模式测验，但是，这种效度上的差异可能更多的来自于实证开发模式下对测验效度的高估（Cool，Campbell，1979；Anastasi，Urbina，1997）。交叉效度检验的结果支持了同质量表开发模式测验在效度上要优于实证开发模式的假设，同时显示了同质量表开发模式测验更加具有稳定性和普遍性。