绩效评价指标体系是绩效评价的基础,是关系到整个绩效评价能否顺利进行、评价结果是否客观公正的“试金石”。绩效指标因评价对象、评价目的、评价时间的不同而不同,随着相应政策和制度的实施,指标体系要做相应的调整。因此,要设计好绩效评价指标体系,首先必须了解指标体系建立的原则。
职业教育绩效评价应遵循两个方面的原则:一是利用绩效评价指标体系反映总体绩效的“4E”原则——经济性(Economy)、效率性(Efficiency)、有效性(Effectiveness)和公平性(Equality);二是进行绩效评价指标体系设计选取绩效指标时应遵循的信度和效度等原则。
(一)绩效指标体系反映总体绩效的“4E”原则
公共支出绩效评价的意义在于能够将纷繁复杂的财政支出内容和支出绩效,用统一的尺度转化为可比的结果,这一尺度就是评价应坚持的原则。职业教育绩效评价应遵循“4E”原则——经济性、效率性、有效性和公平性。四者之间相互区别,又相互联系,共同构成公共支出绩效评价的原则(见图4-1[1])。
图4-1公共支出绩效评价“4E”原则图
1.经济性(Economy)
评价支出是否节约,是否是低成本的,也就是说,以最低费用取得一定质量的资源,在达到一定支出目标的情况下,如何实现支出最小。职业教育支出绩效评价的“经济性”主要体现在:①是否以最合适的价格获取提供职业教育产品的资源,如教学仪器、教学办公楼等,这些资源是否得到了合理使用,有无浪费;②实际使用的资金与获得财政资金相比较是否合理;③购置的教学设备、实训设施、教师人力资源是否得到有效利用,有无闲置等方面。
2.效率性(Efficiency)
效率性是指投入与产出的关系,主要考察是否以最小投入取得一定产出或以一定投入取得最大产出。职业教育支出绩效评价的“效率性”主要体现在:①利用现有资源培养的合格学生数量,财政支出的目标是否实现;②培养一个合格学生的生均成本;③教学设备、实训设施的利用情况,与社会或企业联合举办的培训课时数;④办学条件是否达到国家教育部规定的标准,有无浪费现象;⑤实际招生人数是否达到规划招生人数的数量,专业课程、实训课程是否达到上级主管部门规定的数量,能否满足社会经济发展的需要;⑥教师的教学科研成果等与产出结果有关的方面。
3.有效性(Effectiveness)
有效性主要是看“情况是否得到改善”,即用来衡量提供服务的影响和质量,看服务是否达到预期目的,它关心的是目标和结果。有效性可以分为两类:一是改变现状的程度,二是行为改变的幅度。每一项服务都有明确或含糊的指向顾客的目标。职业教育绩效评价的“有效性”主要考虑:①培养了多少满足社会经济发展需要的合格的学生数;②学生所学知识能够满足工作岗位需要的程度;③学生、教师、雇主对教育服务质量的满意程度,在服务上还有哪些亟须改进的地方;④职业院校发展的长远趋势如何,如何获得更好的社会声誉和影响等。
4.公平性(Equality)
公平标准指的是效果(如服务的数量或货币化的收益)和努力(如货币成本)在社会群体中的不同分配,它与法律和社会理性密切联系。公平作为衡量指标时,关心的是“接受服务的团体或个人是否都受到公平的待遇,需要特别照顾的弱势全体是否能够享受到更多的服务[2]”。指导公平性衡量的原则有:一是帕累托标准,如果使一个人的境况变好的同时,不能使其他人的境况变坏,此标准的目的是保障最低福利;二是卡尔多-希克斯标准,在效益上的净收益者能补偿受损者,该标准的目的是保证净福利的最大化;三是哲学家约翰·罗尔斯提出的再分配标准,使处于条件恶化的社会成员的收益增加,则是正义的行为,此标准强调再分配福利最大化[3]。
从第二章的分析可知,职业教育的发展对于增加中低收入家庭收入、改善社会分配公平程度有很大的促进作用。同时,接受职业教育的大多是中低收入家庭的子女,如果没有政府的支持,他们很难顺利完成职业教育的学业。公平性原则主要考察职业院校按照国家政策规定,通过助学贷款、勤工俭学等方式资助贫困家庭学生接受职业教育的努力程度。
(二)绩效指标建设的一般标准
美国学者波伊斯特提出,从方法论的观点看,“好的”绩效指标具有高效度和高信度——也就是说,它们是无偏见的指标,对绩效来说是合适的指标,并提供了合理的、客观的统计信度,当然还有其他一些评价绩效指标合格性的原则和标准[4]。根据这点,本书提出对绩效指标的以下标准。
1.信度
从技术方面来说,绩效指标是关于如何获得考评结果或者如何收集数据而对绩效维度进行操作化界定的一种说明。绩效指标的信度是关于指标客观、准确和可靠程度方面的一种度量。从考评的前景来看,完美的绩效指标可能并不存在,因为在考评过程中总是存在出错的可能性。考评结果的错误程度在多大程度上是随机的和无偏向的,这就是一个信度的问题。因此,在设计职业教育绩效评价指标体系时,应该选取那些可以获得准确数据的指标,舍弃那些难以获得数据或精确数据的指标,以保证绩效指标的信度。(www.xing528.com)
2.效度
绩效指标的效度关注的是合适程度的问题,就是指标直接与成果相关或者代表所关注的绩效维度,即相关性的程度。如果设计的指标与特定工作的预期产出毫不相干或者相距甚远,那么指标就不能有效地说明工作的效果。大多数绩效指标至少在一定程度上是适合于被考评对象的,反映出其业绩方面。但是效度的问题经常取决于所提供的指标相对有关的绩效维度在多大程度上是公正的和无偏向的。在考评过程中,当系统产生高估或低估工作绩效的系统性偏见时,效度问题就会出现。
设计职业教育产出效果的有效指标往往是富有挑战性的,因为预期的结果或者是有偏差的,只与工作有少许的关系,或者受到工作无法控制的许多其他条件的影响和制约,或者因为期望的结果只是被简单地运用而不适合于应用到实际的考评中。在这些情况下,最实用的办法就是主要依赖于职业教育产出指标,或者试图确定合理的近似指标。
3.区分度
即有利于反映出不同的业绩状态,区分出不同被评价个体的努力程度差异。也就是说,它们应该与工作的使命、目标和预期结果直接相关,并且它们应该代表已经被确认为工作逻辑一部分的绩效维度。绩效指标有意义,对主管、政策制定者、员工、客户和其他利益相关人都是很重要的。绩效指标对于利益相关人来说也必须是可以理解的,也就是说,指标必须以这样的方式来表达,这种方式可以清楚地解释它们包含什么以及它们如何代表绩效的某些方面。
4.全面和综合性
在给定的考评系统的范围和目标内,一套绩效指标应该是全面的和综合的。即要能反映被评价对象的各个方面业绩,尤其不能漏掉那些重要的业绩指标。一个全面的和综合的评价指标体系,应该囊括所有的绩效维度和指标类型,包括产出和结果,如果有必要的话,还包括服务质量和客户满意度,以及效率和生产力,甚至在更窄的范围内定义的指标系统。
5.有明确行为导向
为了发挥绩效指标的导向作用,必须对期望的指标发展方向达成一致意见。但期望的发展方向并不总是那么清晰,在这种情况下,如果对绩效指标的发展方向不能达成一致,那么提出的指标可能不会被使用。
6.时限性和可操作性
时限性就是指该绩效指标是在被考评年度被使用的指标,这样有时限的指标才能够取得相应年度的数据。同时,各被评价单位应该能够及时地上报数据,满足绩效评价工作对时间限制的需要。为了保证指标的可操作性,指标必须联系工作影响领域的某些东西,联系工作可以影响的一些标准。只要绩效指标与合适的目标和目的相联系,它们通常是可操作的,尽管工作不可能有完全控制预期结果的方法。
7.抵制目标转化的指标
在有关绩效指标定义的问题中,最严重的问题之一就是目标转换。如果主管和其他人员直接按照考评指标执行工作,可能会对工作或组织真正的目标造成损害。在不平衡的绩效指标中,目标转换经常发生。因此,我们通常可以通过定义一系列平衡的、能把绩效引向正面目标的指标来避免这种情况的发生。同时,跟踪一套结果指标的绩效不仅可以对职业教育绩效评价提供更完整的工作效果的描述,而且还可以以此来降低目标转换出现的可能性。
8.低成本的指标
也就是指信息收集成本尽可能低,绩效指标应该有成本-效益的考虑,但它不应该被过度强调。实施考评系统可能需要相当的成本,特别是在数据收集和处理过程中,并且相对于考评结果而言,这种成本花费应该是物有所值的。但是,可能某种类型的指标会比其他类型的指标更耗费成本。因此,应当尽可能地让系统不包括过多的绩效指标或很不相关的指标,这些指标不但要耗费成本,而且不能增加有关工作绩效的信息。
(三)职业教育绩效指标的建设标准前面所列举的“4E”原则和一般标准针对所有的绩效指标设计都适用,但职业教育有其自身的特点,因此,需要在通用评价标准的基础上,还应该有体现职业教育特点的绩效指标评价标准。绩效指标在西方国家的高等教育和职业教育中广泛地应用是从1980年开始的[5]。经合组织(OECD)在一项有关高校管理的研究计划(IMHE)中,将绩效指标定义为“一种用来测量那些难以数量化之物的数量价值[6]。”
对于职业教育绩效评价指标的要求,英国学者马丁·凯夫(Martin Cave)列举了以下7个准则:①指标类别:指标是测量投入的、过程的、产出或是最终结果的,是简单的数量指标或是对某种性质的反映;②适切性:指标在多大程度上反映与某一目标相连的有关活动的绩效,指标是否存在有副作用;③清晰性:指标能否清晰反映某一现象其状况的好坏和价值的高低,而不至于模糊不清,比如生均成本高可看成是浪费,也可看成是质量高,在使用时就需要配合其他指标;④非人为性:指标是否容易受人为因素的影响;⑤数据的可收集性与代价:指标是否具有可比的数据;⑥统计的层次性:指标是适用于个人、系所、学科、学校或是适用于整个职业教育系统,每个指标有其适用的层次;⑦与其他指标的关系:因为需要多项指标去测评某一活动的绩效,因而需要讲明指标的功能、局限及与哪些指标发生关系[7]。这些标准,对职业教育绩效评价指标建设具有参考价值。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。