本部分研究在以往对情景判断测验效度影响因素的研究基础上,根据研究构思部分提出的构思导向的情景判断测验开发思路,比较了三种不同的计分模式以及两种不同的测验开发模式对情景判断测验效标关联效度的影响,并对不同模式开发的情景判断测验进行了交叉效度检验。
虽然国外已经有一些关于情景判断测验交叉效度检验的研究,但是,结合情景判断测验开发模式对效度影响的研究并不多见。通过本研究结果,我们可以发现:本研究中运用的情景判断测验在测验开发样本中具有很好的效标关联效度,其效度系数均值为0.43。在交叉效度检验研究中,情景判断测验在相似检验样本的交叉效度均值为0.31;在异质检验样本中也显示了0.18的效度水平。这说明本研究所运用的情景判断测验具有很好的效标关联效度,虽然情景判断测验的效度会由于样本的原因,在检验样本中出现一定程度的缩水(Anastasi,Urbina,1997),但情景判断测验的效度表现出了一定的稳定性。
此外,本研究分别比较了三种不同计分模式,从比较结果来看:三种计分模式下测验得分间存在高度相关,不同计分模式下测验的效度水平也不存在大的差异。
在测验开发样本中,实证开发模式的情景判断测验平均效度水平为0.49,同质量表模式的情景判断测验效度水平为0.41,实证开发模式的情景判断测验效度水平高于同质量表模式开发的情景判断测验;在交叉效度检验样本中,实证开发模式的情景判断测验效度为0.29,而基于同质量表模式开发的情景判断测验效度为0.31,在效度上要优于实证模式开发的情景判断测验。(www.xing528.com)
尽管情景判断测验与传记经历数据(Biodata)等测验在形式上存在一定的差异,但是,从测验开发模式比较来看,基于理论导向的同质量表模式在指导情景判断测验开发上具有一定的优势。在以往研究中虽然有研究者提到,实证开发思路能够较好的捕捉一些预测指标与效标间的微妙关系(Mumford,Owens,1987)。但是,在实践中,往往由于过于数据驱动,会带来两个方面的问题:一是会使得测验的效度特定于测验开发样本,从而缺乏外推性;二是实证开发模式往往会高估测验在开发样本中的效度水平,这样获得的效度数据在效度检验中缺乏稳定性。
从本研究实证和同质量表两种项目选择模式的比较可以看出:在关系胜任特征的项目选择方面,两种不同的选择模式所产生的测验项目相同,其他两个维度的项目选择结果也存在相似之处。这说明了理论构思和实证支持两个方面同样的重要性。从研究结果得到启示,本研究认为在情景判断测验开发过程中应该强调整合开发思路,特别是对于象评价中心和情景判断测验这样更加强调应用性的研究,在关注实证的效度支持的同时,不能忽视对理论构思指导的关注,这一方面是值得进一步研究的问题。
本研究的结果较好的支持了理论假设,根据实证测验开发模式和同质量表测验开发模式的比较,支持了情景判断测验开发过程中理论构思支持的重要性,对情景判断测验的开发和研究具有重要的理论意义。通过对情景判断测验效标关联效度及其交叉效度检验,为情景判断测验在我国人事选拔与评价中的应用提供了很好的实证支持,对增进情景判断测验效度影响因素的了解也具有重要意义。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。