(一)公文筐测验的含义
1.含义
“公文筐测验”(In-basket)作为一种综合性笔试测验,特别适合于中高层管理人员的能力测验。该测验在模拟的情境下实施,所测题目来自管理工作的实战经验。被试者假定顶替或接替了某个管理人员的工作,在其办公桌上堆积着一大堆亟待处理的文件,包括备忘录、电话记录、电报、报告、信函等。它们分别来自上级和下级、组织内部和组织外部的各种典型问题和指标,内容涉及人事、财务、资金、市场、政府法令、工作程序等许多方面。
2.公文筐测验的优点
(1)公文筐测验兼备了情境模拟技术和传统纸笔测验的优点。从形式上看,公文筐测验把被试者置于模拟的工作情境中去完成一项任务,与通常的纸笔测验相比,显得生动且不呆板,较能吸引被试者的答题兴趣。
公文筐测验是一套公文的组合,可以同时从多个维度评定一个人的管理能力,这些能力是知识、经验和智力相互作用和整合的结果,具有综合性。这些题目的设计也可以因不同的工作特征和所评价的能力的不同而不同,具有一定的灵活性。
和无领导小组讨论等其他情境模拟测验相比,公文筐测验提供给被试者的背景信息、测验材料和要求的作业都要以书面的形式来完成和实现,比较简便,对实施者和场地的要求最低,既可以采取个别的方式施测,也可以采取团体的方式施测,只要评价者给予被试者相同的指导语就可以了。
(2)公文筐测验高度仿真和接近管理实战,非常有利于激发被试者的积极性和创造性,对于在很短的时间内全面、准确地掌握管理者的能力、潜能以及个性心理特征的某些关键要素具有不可替代的重要作用,是不折不扣的“管理者实战演习”。两小时左右的公文筐测验对被试者自身综合素质状况、工作经验积累、专业知识和相关知识的系统整合与娴熟应用的考查效果让其他许多人事测验望尘莫及。
(3)公文筐测验具有跨文化、跨地区、跨行业和跨企业规模的普遍适应性。据统计,欧美发达国家和日本在选拔、评价管理人员时最常用的技术就是评价中心技术,而在评价中心技术中,公文筐测验的使用频率高达95%。公文筐测验的效度和信度极高(信度相关系数为0.92)且操作方便,在企业管理工作中的价值和作用也逐步得到中国管理理论界及企业界人士的高度重视。
(4)从信度上看,公文筐测验采取纸笔的形式,一方面是考虑到被试者在日常工作中接触和处理大量文件的实际需要;另一方面也是为了统一操作和控制,给每个被试者提供相等的条件和机会。这种形式比较公平,不会因为情境的不同或者小组成员的差异等因素而影响测评结果。而且,对于被试者处理方式优劣的评价,不是个人单独决定的,而是由几位评价者共同讨论决定的。这有助于提高公文处理的信度。
(5)从效度上看,公文筐测验所采用的文件都取材于实际的管理活动,几乎类似于被试者所拟任职位上日常需要处理的文件,有时候直接选取真实文件。同时,处理公文这样一项管理活动也是任何一个管理者在日常生活中经常遇到的事情。这样,被试者很熟悉公文筐测验的目的所在,非常容易接受此种表面效度高的测评方式。
(6)公文筐测验具有良好的内容效度。虽然公文筐测验在测验过程中采用的是静态的考查方式,但是其材料包罗万象,范围广泛,任何静态的测评要素,比如背景知识、专业知识、操作经验以及能力倾向等都可以隐含于文件之中,通过处理文件这种形式,能对被试者的潜在能力和综合素质进行考查。
(7)公文筐测验中的成绩与实际工作中的表现有很大的相关性,对被试者未来工作绩效有很好的预测能力,即该测验具有良好的预测效度。因此,只要被试者能够妥善处理公文筐中的各类文件,评价者就有理由认为被试者在一定程度上具备了胜任新职位所需要的素质。西方有研究者在观察了51个人的工作实际绩效后发现,工作绩效与公文筐测验之间的相关度高达0.42;还有人发现公文筐测验的绩效与日后三年内的晋升之间的相关度为0.32。
从用途上看,公文筐测验除了能够挑选出有潜力的管理人才,用做评价、选拔管理人员外,还可以用做培训,训练他们的管理与合作能力,使选拔过程成为培训过程的开始,使参加测验的被试者提高其管理能力,提高其解决人际冲突和组织内部各部门间摩擦的能力,并为人力资源部计划和组织设计提供信息。西方有研究表明,公文筐测验的结果与培训成功间的相关度达到0.18~0.36。
3.公文筐测验的缺点
(1)编制的成本较高。公文筐测验需要专业人员包括测验专家、管理专家和行业专家(实际工作者)三部分专家相互配合,投入的人力、物力比较多。编制公文筐测验需要结合实际的拟任职位特征和要求,共同研究开发新的合适的题目,收集不同的文件,并对文件进行典型化处理,将各个文件串联起来进行成套编制并标准化,这本身就是一个需要花费大量时间的过程。
(2)评价的客观性难以保证。虽然公文筐测验采用纸笔的形式和较为标准的考试程序,但是它所包含的公文的题目基本上都是采用开放式的方式,要求被试者主观作答。由于被试者在经验、背景、管理理念、基本素质等方面存在个体差异,其处理公文的行为方式也是不尽相同的。一个经常与公文打交道的企业中层管理者,由于受到企业文化和企业的作事风格的影响,在做此类测验时就很容易按照工作习惯来处理,一些真实的能力被隐藏了起来。这会影响评价者给予他的评价。
(3)不同的评价者之间对此也会有不同的认识,尤其是专业人员和实际工作者之间的认识有较大的差异。鉴于此,公文筐测验结果的评价应有专家指导,否则会由于对评价尺度把握不准而无法取得好的效果,而在具体实践中,专家并不容易请到,因此,这就使公文筐测验很难大规模推广使用,西方也一般只是在选拔高层管理人员时才使用。
(4)依然采用静态的形式。公文筐测验采用静态的纸笔考试,每个被试者都是自己独立完成测验的,评价者与被试者之间没有互动的交流,所以评价者很难对被试者在实际工作中与他人交往的能力和人际协调能力直接进行判断和评价。
(二)公文筐测验的适用范围
由于公文筐测验可以将管理情境中可能遇到的各种典型问题抽取出来,以书面的形式让被试者来处理,所以它可以考查被试者多方面的管理能力,特别是计划能力、分析和判断问题的能力、给下属布置工作并进行指导和监督的能力、决策能力等。归纳起来,主要有以下两类:
1.与事有关的能力
公文筐测验的各种公文都会涉及组织中的各种事件,被试者搜集和利用信息的能力(洞察问题)首先会体现出来,另外,有的事情需要被试者作出分析、综合、判断;有的事情需要作出决策;有的事情需要组织、计划、协调;有的事情还需要分派任务(授权),而且在纷繁复杂的事情中需要分清轻重缓急,因此这些能力都可以在公文筐测验中得到反映。同时由于与其他测评方法相比,此法提供给被试者的测验材料和作答结果都是以书面形式来实现的,所以还能有效地考查被试者的文字水平与写作能力。
2.与人有关的能力
在公文筐测验中会提到各种各样的人物以及他们之间的关系,这些文件也是来自不同的人。如果公文筐测验设计得很好,会把人物的特点勾勒得淋漓尽致。被试者除了善于处理公文筐中的事情之外,还要对与文件有关的人的性格非常敏感。在很多情况下,事情处理得是否得当,取决于被试者是否能够正确理解人的意图、愿望、性格特点和人物之间的关系。因此,在公文筐测验中也能很好地测试出被试者与人打交道的能力,尽管这种能力是通过书面的形式间接表现出来的。
由于公文筐测验的内容不尽相同,所以每次测验的维度也是根据实际情况而定的。总的说来,公文筐测验的评分维度主要有两个方面:
(1)明确单个公文的考查要点,针对每个要点的答题情况进行评分。
(2)从所有公文的总体进行分析,看被试者是否能够充分认识到各个文件之间的关联,对所提供的背景信息能否充分地利用,对各个人物在组织中的角色是否有较为准确的认识,是否可以通过对一些数据的分析得出相应的结论;看被试者是否对时间有敏感性,能否较为迅速地发现被拖延的公文,在分清时间先后顺序的同时是否能够敏锐地发现时间冲突,并在此基础上分清事情的轻重缓急,合理安排自己的工作;看被试者整体的文字表达能力如何,是否能够用清晰、简洁的语言来传达信息或分配任务,以及对处理公文的一些基本格式和规则的了解程度如何。当然,每一份公文并不一定只是测评一个要点或维度,也可以同时测评多个维度。
另外,在施测的过程中,还可以通过现场或者录像观察被试者处理公文的方式。有的被试者可能比较讲究效率,在看清测验要求之后就奋笔疾书,按照公文的先后顺序回答问题,并用一、二、三等数字来体现答题的逻辑性;有的被试者可能会从整体上考虑公文之间的联系,在附加的日历上做一些必要的标注,挑选出最重要或者最紧急的事情首先处理,然后才回答其他的。这一方面可以体现被试者的行事风格,另一方面也可以间接反映被试者的管理意识和能力。测评者可以在相应的维度上增加适当的分数。
概括起来,公文筐测验可以考查的素质有管理人员计划、组织、预测、决策、沟通的能力。这5大能力的个体水平和群体水平是企业管理团队核心能力的标尺,对于企业可持续发展力的保持和提升具有重大意义。这5大能力的考查是公文筐测验关注的焦点。
(三)公文筐测验的实施过程
公文筐测验的实施过程包括测评前的准备阶段、开始阶段、正式测评阶段和评价阶段,各个阶段都有一些特定的要求,任何环节出了问题,其他环节都难以弥补。所以在实施时,必须严格按照要求对所有的被试者进行测评,以保证测评的标准化和公平性。
1.测评前的准备阶段
测评前的准备工作是公文筐测验能否顺利实施的关键。测评前的准备工作范围很广,包括指导语的设计、各种材料的准备、测试场地的安排等。只有将这些工作做得周到细致,才能确保实施质量。
(1)要有清楚、详细的指导语。指导语要说明被试者在公文筐测验中的任务与有关要求,文字应该通俗易懂,以保证每个被试者都能够准确无误地理解测验要求。一个典型的指导语应该是这样的:
这是一个公文筐测验,在这项测验中,你将作为一个特定的管理者,在两个小时的时间里处理一系列文件、电话记录、办公室的备忘录等。
这里为你准备了你今天需要处理的全部资料,放在办公桌的塑料公文袋里。
在测验中你需要使用以下工具:一本答题纸、有关背景材料、公文袋中的测验材料、铅笔、计算器等。
请不要在公文袋中的测验材料上写任何东西,所有的问题处理都写在答题纸上。我们只对答题纸上的作答进行计分,在其他任何地方的答题将不予考虑。
在测试期间,为了不影响你的成绩,请关闭手机。
大家都听明白了吗?有问题的请举手。如果没有问题,就开始答题了。
(2)准备好测验材料。测验材料包括两类,即提供给被试者的背景材料和待处理的各种测验资料。背景材料一般包括被试者的特定身份、工作职能等具体的情境设计,背景材料的多少随测验材料而定,其核心目的是为被试者处理公文筐测验中的各种问题提供一个背景情况,以保证被试者有足够的背景信息可以参照。各种测验资料包括信函、报告、备忘录等。这些材料事先放在桌子上的公文袋里。
为了突出公文筐测验的逼真性,上述文件可以用多种方式来呈现,比如不同的文件用不同规格和大小的纸张来呈现,文件内容可以既有打印稿又有手写稿,有些文件上甚至可以写上多位主管的批示,以表示文件已在多位主管中传阅过。
(3)准备好答题纸。答题纸专供被试者对材料写处理意见或回答指定的问题,是被试者唯一能够书写答案的地方,评分时只对答题纸上的内容进行评分。给每个被试者的测验材料和答题纸事先要编上序号,实施测验前要注意清点核对。答题纸一般由三部分内容组成:一是被试编号、姓名、应聘职位、文件序号;二是处理意见或处理措施、签名及处理时间;三是处理理由。值得注意的是,文件序号只是文件的标识顺序,通常由易到难,并不代表处理的顺序,应该允许被试者根据轻重缓急调整顺序,只要给所有被试者的文件顺序相同即可,以示公正。在某些特殊的情况下,要被试者就某个问题写一个报告,此时得另加上几页空白答题纸。
(4)要事先编制好评分标准。根据各测验要素的定义,结合具体的测验试题,给出各要素的评分标准,必要时可以给出好、中、差三种情况的作答特征描述。
(5)要事先安排一个尽可能与真实情境相似的环境。公文筐测验除了要求环境安静、空气新鲜、采光好等条件外,最好能够使测试环境与真实情境相似,至少应该保证每个被试者有一张桌子和必要的办公用具,由于要处理大量的公文,桌面要足够大。被试者之间的距离也应该远一些,以免相互干扰。为了保密和公平,最好让所有的被试者在同一时间内完成公文筐测验。
2.开始阶段
在公文筐测验正式实施前,主考官要把测验指导语从头到尾念一遍,并对测验要求作简要介绍,同时强调有关注意事项。当被试者对测验指导语完全理解后,每位被试者才可以开始阅读有关的背景材料,即被试者的身份和一个假定的时间与情境,通常包括工作职能说明、组织机构表、工作描述和部分工作计划等,阅读时间的长短随背景材料的多少而定,一般有十分钟就足够了。这里的关键是让被试者尽快进入情境,明确自己的角色,以便正式开始作答。被试者在这个阶段有任何不清楚的问题可以向主考官提问。
3.正式测评阶段
这一阶段通常需要1~3个小时的时间,为了保证公平性,在正式测评前,被试者不得翻看测验材料。被试者对文件的处理意见或者答案都要写在答题纸上,除非总体设计中另有规定,被试者一般需要独立工作,没有机会与外界进行其他方式的交流。被试者在这个阶段有任何问题都不得向主考官进行提问。测评结束时,被试者必须同时停笔,但是可以提醒他们检查一下是否在每一页答题纸上写上了被试者的编号。对于提前做完的被试者,不要让他们离开考场,因为下一个阶段考官可能还会对被试者进行必要的追问。
4.评价阶段
测试结束以后,主试者要对被试者的作答立即进行粗略的评价,只有这样,当主试者感到被试者的回答模糊不清时,才可能对被试者当面进行追问,在此并不获取新的信息。如果未能及时进行评价,那么也应该在现场翻看一下,以决定是否要对被试者进行必要的追问。主试者一般在评价被试者的实际回答时,不仅要看被试者的文件处理方式和方法,还要结合被试者对每个文件处理办法背后的理由说明。有时候,尽管两位被试者的处理办法相同,但不同的处理理由往往能反映出其不同的能力水平。
市场总监考查的要点
计划能力是指被试者分析每一个既得信息所反映的问题、问题产生的根源以及各问题间的相互关系,并据此确定工作目标、工作任务、工作方法和工作实施步骤的能力。对于市场总监来讲,就是考查他(她)在特定的外部竞争环境和内部资源条件下进行产品计划、价格计划、分销计划和促销计划的能力。滚动计划法的应用情况、计划的可行性、实施所需时间、成本以及风险度是考评管理者计划能力的关键指标。
组织能力是指被试者按照各项既定工作任务的重要和紧急程度安排工作次序,调配人力、物力、财力资源,合理分工、授权并进行相应组织机构或人事调整的能力。当某大区的商品营业额出现大幅度滑坡时,市场总监往往要组织增派促销人员、调拨促销用品、加大营销费用、授予大区市场部经理临时的特别权力,甚至调整大区市场部组织机构或管理班子来应对。工作次序安排、资源配置、工作分工、授权情况以及组织措施的成本和风险度是考评管理者组织能力的关键指标。
预测能力是指被试者对模拟工作环境中相互关联的各类因素及总体形势、未来发展趋势进行准确判断并预先采取相应措施的能力。竞争对手在某中心城市的各大商场刚刚投放一种明显优于公司现有主导产品的新产品,而该城市正是公司计划下一步重点经营的目标市场,准确的预测及有效的应对措施此时对市场总监来讲就显得十分关键。对工作环境中各类相关因素及总体形势、未来发展的多种可能性及其发生概率的分析论证,以及制定各种防范、应对措施的合理性是考评管理者预测能力的关键指标。
决策能力是指被试者在解决实际工作问题(特别是解决重要且紧急的关键问题)时策划并选择高质量方案的能力。公司的新产品已被消费者认同,销售额和利润正在快速增长,仿制品也开始进入市场,此时,是重点开拓全新市场、建立新的分销渠道,还是在已开发的市场中转变广告宣传策略、降价促销呢?这就需要市场总监审时度势、全面斟酌、正确决策。决策目标的清晰程度、备选方案(一般为两到三个)的可行性、各方案的评价比较是考评管理者决策能力的关键指标。
沟通能力是指被试者通过书面形式准确表达个人思想和意见的能力。在实际工作中,市场总监会经常以电子邮件、传真、信函或公文的形式与各大区市场部经理进行工作交流,根据市场人员状况和市场竞争态势对大区市场部经理进行适时的工作指导,对大区市场部经理进行日常慰问和精神鼓励等,这就需要良好的书面沟通能力。沟通网络和沟通方式的选择、信息的准确性、思维的逻辑性、结构的层次性、文字的流畅性是测评管理者沟通能力的关键指标。(www.xing528.com)
(四)公文筐测验试题的编制过程
试题编制是公文筐测验过程中的核心环节,是直接影响测评效果的关键环节。如果这个环节的工作做得不好,那么测评实施与结果评定等环节的效果也很难保证,公文筐测验的有效性和可靠性就无从谈起。所以,如何设计和编制公文筐测验题目,是学习和掌握公文筐测验的关键。
在充分掌握相关资讯后,设计小组一般用两至三个工作日即可完成一个重要管理职务的公文筐测验题目设计。
1.确定测评要素
测评要素的确定要依据两个方面来进行:一是通过上面提及的工作分析或胜任能力特征分析来确定拟任岗位的要求,通常需要分析岗位的职责与任职要求,这可以通过查阅有关职位说明进行,同时还要与任职者或者其上级领导进行深入细致的访谈,以明确拟任职位的关键任务指标和胜任能力特征。如果可以访谈的任职者数量比较多,还可以采用问卷的方式进行调研。
有效的工作分析是公文筐测验最核心的基础工作,工作分析的关键内容开展得越规范、越全面、越深入、越细致,公文筐测验的题目设计就越容易,测评结果的信度、效度也就越高。但仅有系统的工作分析还远远不够,对行业特点、企业内外环境、企业文化和测评目标的分析也是设计测验题目需要考虑的重要内容。下列因素就是设计公文筐测验题目的主要依据。
(1)企业所在行业的特点,企业内部和外部环境状况,企业同行文化和希望建立的新文化。
(2)测评的目标。根据招聘、选拔、评价和培训需求确定不同的测评目标,从而对不同的测评题目在整个测评中的权重有不同的考虑。主要包括管理职务设置的目的和工作职责;管理职务的工作性质与工作方式;管理者工作活动的内容、各项工作活动占全部工作和活动时间的比例、各项工作活动的执行权限和执行依据、工作活动结果的预期标准(每一个管理者的工作活动都包括人际关系、信息传递和决策制定3大类活动);以及管理者每一项工作活动的主导业务流程。
(3)管理者的工作关系:管理者的直接上级和间接上级、直接下级和间接下级、管理者的同级、管理者的企业内部客户和企业外部客户之间的关系。
(4)管理者可调遣或协调的工作资源:人力资源、物力资源、财力资源和信息资源。
2.编制试题(文件)
编制试题是公文筐测验中的核心环节,主要有以下3个步骤:
(1)得到文件素材。文件素材不能凭空杜撰,必须从任职者的实际工作中总结出来。一种比较有效的方法是请一批比较好的任职者或者他们的直接上级开个交流会,运用关键事件法,让他们回想自己印象比较深刻的在工作中处理过的各种事情,并要求他们写出来。一位任职者的回忆常常会引起另外一位任职者的回忆。为了得到任职者的配合,对关键事件的回忆通常从正面事件开始,因为大多数人谈论自己比较成功的事情还是比较容易的,这样做能使他们更加有信心,从而乐于去回忆。为了不至于使获得的事情太离谱,事先应该将测评要素及其内涵告诉他们,让他们围绕这些要素来回忆。至于征集关键事件的总体数量的多少,要根据所需要编制的文件的数量而定,一般要按所需文件数量的两倍到三倍来征集。
通过上述方法,可以确定拟任岗位的素质要求,这是要素确定的立足点。
在做到上述要求的同时,还要充分考虑公文筐测验的特点,进行取舍,如前文所说,公文筐测验不一定对所有的测评要素都适合,这就需要根据方法本身的特点进行选择。通过这一步骤,可以确定公文筐测验要测评什么要素,哪些要素可以得到充分测评,各个要素应该占多大的权重等。
公文筐测验对考官的要求
公文筐测验对考官的综合素质要求较高。考官不仅要具备管理学和心理学领域的基础知识,了解公文筐测验的理论和实战依据,了解各测评题目之间的内在联系,而且要对被试者所任职务的职责权限和任职资格(工作经验、学历、能力、潜能和个性心理特征等)进行过系统研究,能够独立地或与他人合作设计测评题目,能够恰如其分地开展考评问询,能够对被试者进行全面、客观、公正的评价。考官要对每种可能出现的答案及其所代表的意义成竹在胸并与其他考官事先达成共识。在20世纪50—80年代,公文筐测验的考官是清一色的管理顾问、咨询专家或心理学家,20世纪80年代以后,公文筐测验的考官也开始逐步变成了所在企业的高层管理人员(他们通常是被试者的直接上级)。企业高层管理人员通常对企业管理现状的各方面感受深刻,通过两周左右的标准化速成培训以及顾问人员的现场指导,他们基本上能够担负起合格考官的工作职责。这一变化对于企业自身管理团队的建设意义也很深远!
(2)筛选、加工文件素材。
①筛选文件。
在运用关键事件法得到的大量素材中,有一些可能不符合要求,比如有的事件根本就反映不出相应的能力来,在这种情况下,就得看事件能否反映别的测评要素,如果什么都反映不出来,就可以把这个事件淘汰掉;如果能够反映出别的测评要素,就可以把这个事件归类到相应的测试中。
②对剩下的许多事件进行加工。因为任职者写出来的事件有的太抽象或者内容不够完整,这就需要适当补充完整;有的包含了多个事件,这就需要适当地进行拆分;还有的事件描述得太烦琐,这就需要进一步精简加工。另外,完全真实的材料可能会过于偏重经验的考查,而忽视潜能的考查,据此选拔出来的人无疑是完全与招聘单位文化气氛相同的人,违背了引进外来人才、给单位输入新鲜血液的本来目的。
③还需要对文件的文字陈述进行加工,力图保证试题表述清楚,文句简明扼要,表意确切,不致使被试者产生误解,但是也不能遗漏一些必要的条件。注意公文筐测验不是阅读理解或者语文能力测验,而是对各种领导和管理能力的测验,因此不能用艰深的词句,以免影响测验结果的公平性。
(3)编制文件。完成上述的工作,就可以编制文件了。
文件的类型主要有三种:批阅类、决策类和完善类。
批阅类文件要求被试者能够区分事件轻重缓急和文件性质,提出处理意见,这类文件是常规性的公务文件,通常只需要按部就班地处理即可。
决策类文件往往是请示、报告、建议之类的,阐述的往往是日常工作中遇到的非常规性决策问题,要求被试者在综合分析的基础之上,提出决策方案或从给定的几种方案中选择最佳方案。
完善类文件是指有缺陷的文件或尚缺少某些条件和信息的文件,如材料不完善、观点意见不妥当等,这类问题考查被试者是否具有善于提出问题和获得进一步信息的能力。
文件的签发方式及其行文规定可以忽略,但文件的行文方向(对上与对下、对内与对外等)应该有所区别。文件的形式尽量与拟任职位中实际可能遇到的各种文件一致。
编成的文件应该具有3大特点:典型性,文件内容涉及未来工作中最主要的活动,是对多种情况的归纳与概括;主题突出,单个文件应该以描述一个主题为核心,尽量避免一个事件的多个方面都是重点;难度要适中,测验的目的在于区分能力不同的被试者,因此应该尽量避免测验中的“天花板”“地板”效应,以免大家的得分都很高或者都很低而不能区分,通常应该由易到难,形成梯度。
3.试测与收集答案
公文筐测验试题编制结束以后,制定评价标准也是相当关键的。为了使评价标准有针对性和实用性,就需要收集各种答案,即文件的各种处理办法。一个比较有效的做法就是把编好的公文筐让在职的有关人员作答。这些在职人员应该和将来应聘的被试团体具有相似的特征,可以看做来自同一个样本群体,并且他们所在的岗位,就是被试者将来拟任的岗位。人数应该保证在几十个人以上,不能太少,但是时限可以稍微宽松一些,以保证他们能够将所有的文件都处理完。最后根据这些在职人员的结果进行汇总分类,列出表格。
为了验证编制出来的公文筐测验试题的效度,可以将公文筐测验施测于一批优秀的任职者和一批没有管理经验的一般人员。将两个团体的作答结果进行比较。假如两个团体的作答结果之间没有显著性差异,或者一般人员的结果比优秀管理者的结果要好,这就说明编制的公文筐测验试题可能存在问题,区分效度不明显,需要进一步修改。假如优秀管理者的结果明显地好于一般人员,则可以接受这份公文筐测验试题,但要注意强调保密。
4.制定答案及评分标准
让有经验的高层管理人员或者主管对上述所有的答案用三级(好、中、差)量表评定,并进一步确认题目所测评的要素以及答案可能反映出来的被试者的能力水平。在此基础上,对所得到的结果进行总结性的统计,即可得出答案及评分标准。
公文筐测验的一个评分标准样例
测评计划能力:
好:能够有条不紊地处理各种公文和信息材料,并根据信息的性质和轻重缓急对信息进行准确的分类处理。在处理问题时,能及时提出切实可行的解决方案,主要表现在能系统地事先安排和分配工作,注意不同信息之间的关系,有效地利用人、财、物和信息资源。
中:分析和处理问题时能够区分事件的轻重缓急,能够看到不同信息间的关系,但解决问题的办法不是很有效,在资源的分配与调用方面也不尽合理。
差:处理各种公文和信息材料时不分轻重缓急,没有觉察到各种事件之间的内在联系。解决问题时没有考虑到时间、成本和资源方面的种种限制,以致提出的解决办法不可行。
(五)公文筐测验的结果评定
公文筐测验的结果评定既是重点又是难点,只有对被试者的作答进行准确合理的评定,才能有效地发挥公文筐测验的鉴别功能,才能体现以此方法进行人员选拔时的客观公正性。但是,由于公文筐测验作答的开放性,加上测验背景的复杂性,其结果评定很难,这就对评价者提出了很高的要求。
1.评分标准的内容
评分标准(评价标准)的设计是公文筐测验结果评定中的基础环节,公文筐测验的评分标准包含着三个方面的内容:一是参考标准,即处理各个问题的较理想的方式;二是等级水平,是各种不同的处理方式所体现的能力、素质或资格条件的数量水平或质量等级的量表系统;三是测评规则,即一定等级水平与参考标准之间的对应关系。
对于参考标准来说,这是评分标准设计中的关键,因为只有明确了什么样的文件处理方式说明被试者某方面的能力高、什么样的文件处理方式说明被试者某方面的能力差,才可能有效地评价测验结果。确定这些测评指标的方法可以采用当前国际上盛行的行为定位法,这种方法不关注被试者之间的相互比较,而是有一个行为性的测评基准点,寻求有效的行为表现与无效的行为表现的区别以及不同表现所产生的效果。
参考标准确定以后,评分表的设计就比较简单了。首先要确定量表评定的等级,常用的有5点量表、7点量表、9点量表、10点量表,其特点是将被试者的行为表现分成等距的几个等级,比如5点量表可以分成很好、较好、中等、较差、很差五个等级。10点量表通常把行为分成好(8~10分)、中(4~7分)和差(1~3分)三个等级,并对三个等级的行为表现作出具体的描述,然后评价者根据被试者的具体表现在三个等级内再做细分。公文筐测验评分表如表5-6所示。
表5-6 公文筐测验评分表 分
续表
2.评分标准的把握
让评价者掌握评定标准是公文筐测验结果评定的核心环节。评分表设计得再好,如果评价者对评分标准没有把握好,那么结果评定也是没有可信度的。要使评价者把握好评分标准,通常需要经过严格的训练。
首先要让评价者熟悉测评要素的内涵和拟任岗位的要求。在公文筐测验的评价者中,通常有两类人员:一类是评价专家,另一类是具备拟任岗位工作经验的人(一般是拟任岗位的上级领导或人事组织部门的领导)。评价专家虽然能够很好地把握测评要素的理论界定和评价尺度,但是对具体的岗位可能不是十分了解;而有关领导虽然熟悉岗位特征,但是对测评要素又把握得不是太准确,因此,双方需要密切合作,互相学习,各取所长,提高评价的客观性和有效性。
其次要加强评价练习。让评价者熟悉测评要素的内涵和拟任岗位的要求并不是一件很容易的事情,需要通过评价实践来巩固。通常可以让多位评价者同时对几份公文筐测验的作答情况进行多次评定训练。评分的实施程序一定要注意,一般应该两人以上各自独立评分,然后交流评分结果,如果发现不同评价者的评分结果之间的差异比较大,就得让他们简述自己的评分理由,拿出客观的评分依据,据此对他们进行指导,使他们把握好统一的评分尺度,直到达到预定的标准。公文筐测验评分标准如表5-7所示。
表5-7 公文筐测验评分标准
续表
3.评价结果的内容
在公文筐结果的评定过程中,评价者不要仅仅给出一个简单的分数,最好就各种测评要素给被试者写出相应的书面评语,这样做的意义有:一方面,保留公文筐测验中提供的、难以从分数中体现出来的很多宝贵信息;另一方面,更明确地反映出评价者对被试者的倾向性意见,同时也能够使录用决策建立在更为生动、具体的评价信息基础之上。关于如何填写公文筐测验的评语,并没有很严格的限定,只要抓住被试者的主要特点,用适当的文字描述出来,给予恰当的考核建议即可。如果对公文筐测验的结果仍然存在很多疑点或者判断模糊的地方,可以留待与其他测评方法相互印证。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。