测验开发：实证思路与理性思路的比较

在情景判断测验的总体开发思路上，主要存在两种模式。一种注重测验项目与效标之间的实证关系，我们把它称之为实证开发思路。实证开发思路受Sternberg等人的内隐知识理论影响，在这种开发思路下，情景以及行为项目的选择、计分项目以及权重的确定一般根据项目得分与绩效标准之间的相关程度进行。实证开发思路可以较好的保证情景判断测验的效标关联效度，也能鉴别出一些在理论上可能会被忽略的有关项目和效标之间的微妙关系。但是这种非理论导向的开发思路存在很大的缺陷。首先，对内容和构思效度的相对忽视会限制它对理论形成和检验的潜在贡献；其次，根据实证数据进行调整的方式对测量的概化效度会有很大的影响，大大削落测量和研究的普遍意义，也使得效度数据会更多的特定于用于开发测验的样本（Mumford，Owens，1987；Reiter Palmon，Connelly，2000）；此外，实证思路开发的测验效度受开发样本的代表性和用于开发的效标类型及测量影响较大，加大了测验在应用中的不确定性。

另外一种思路更加注重通过理论来指导项目的开发、选择和计分，从而保证项目的相关性、普遍性和长期预测性，称之为理性开发思路。理性开发思路通过对绩效、能力以及能力与绩效之间关系的潜在构思来指导测验的开发，然后，更多的通过专家判断编写、选择和加权项目，强调对构思的检验。理性开发思路由于能够较好地抓住绩效的先决因素，跨情景和时间的效度会大些。与实证开发思路相比，理性开发思路开发的测验更加稳定，不易受不稳定因素的影响，有更好的外推性。虽然理性开发思路更加注重理论指导，但它的缺陷也是显而易见的，测验的效度更多的依赖于测验开发者的素质，很多研究者认为理性量表的效度更多的依赖于开发者的直觉能力，更多受主观因素影响（Mumford，Owens，1987；Reiter Palmon，Connelly，2000）。

虽然在Biodata的研究中发现了理论导向的测验开发思路优于实证思路，但是，在情景判断测验的开发研究中，并没有支持这一结论，Weekley，Jones对这两种思路的效度进行了比较，结果发现对于情景判断测验而言，这两种开发思路在测验的效标关联效度上并不存在显著的差异（Weekley，Jones，1999）。如何更好的利用这两种开发思路的优点，弥补彼此的弱点，提高情景判断测验的效度是非常值得进一步研究的问题。

情景特定性（Situational Specificity）研究(www.xing528.com)

在很多情景测验的研究中，研究者发现情景测验的内部一致性系数往往比较低，这主要涉及情景测验中的情景特定性问题，情景特定性与情景的详细程度有着紧密的关系。在以往有关情景详细程度的比较中，很少有人使用量化的指标对情景进行分类，此外，以往研究一般都把情景特定性看成是噪音，然而，情景特定性到底是噪音变异还是构思说明差误（Specification Errors）是在诺莫网络中应该考虑的、对个人的绩效起到重要影响的部分呢？很少有研究者对这个问题进行过专门的研究，结构方程模型为我们提供了很好的方法，可以让我们较好的评价每一个情景的情景特定性水平，然后来比较到底情景特定性水平与测验效度之间是什么关系，这也可以为我们理解情景判断测验的构思效度提供依据（Bycio，Alvares，Hahn，1987；Kline，Sulsky，Rever Moriyama，2000）。

而情景认知理论为情景判断测验研究提出另外一个问题：情景测验中情景的多样性对情景测验的效度起到了什么样的影响？在过去很多情景判断测验开发都是围绕特定的构思收集关键事件，然后，根据构思由被试问题专家对情景项目进行Q分类；对存在下来的情景进行一致性分析或因素分析得到“同质的情景项目集”（Hogan，1995），从而抓住更加精细的构思。这种对情景之间同质性的追求到底对情景测验的效度起到什么影响还是一个值得深入研究的问题（Weekley，Jones，1999）。