我国高等教育领域实施范围最广、影响最大的院校评估形式主要有合格评估、优秀评估、水平评估和审核评估等,它们在特定的历史条件下,对规范我国高等教育教学的质量标准、促进人才培养质量提升发挥了积极推动作用,但以上评估所存在的先天缺陷也时常引起人们的争议和批评。进入21世纪以来,监测评估作为一种崭新的评估形式,开始受到国内外学者的关注和讨论;《国家中长期教育改革和发展规划纲要(2010—2020年)》也明确提出,要“整合国家教育质量监测评估机构及资源,完善监测评估体系,定期发布监测评估报告”。相较于传统评估,监测评估在评估的理念、方法、程序等方面均有诸多独到之处,具有良好的发展和应用前景。
(一)监测评估的概念,与传统评估的区别与特征
1.监测评估的概念
就字面而言,监测评估是“监测”与“评估”两个词语的组合。监测一词可见诸管理学、教育学、环境科学、医学、经济学等多个学科领域。在管理学中,监测是对输入、产出、干预措施等过程要素信息的常态收集和持续追踪,它指向项目实施的过程。评估则是将项目实施的结果与预定目标进行比较,对其达到预期目标的程度做出价值判断,极少涉及对活动过程和干预措施效果的评价。监测与评估的内涵虽有不同,但现实中二者往往互有牵连:评估中常需借助监测手段来收集资料信息,监测过程也常带有一定的分析判断成分。在国外的相关研究中,人们对“监测评估”(Monitoring and Evaluation)也尚无统一的认识,监测(与)评估通常被当作两种不同类型的活动[18],但也有学者将其看作一种单一的活动,认为监测评估从某种意义上来讲是一种持续性的评估(On-going Evaluation)。
笔者认为,教育领域的“监测评估”应是一个整体概念,是一个独立的活动过程,是教育评估的一种形式;它是以预定的教育目标为依据,通过对教育教学环境、资源、过程、结果等要素状态信息的持续收集、动态跟踪、统计分析和客观描述,对教育工作是否在按照预定计划执行、向预定目标靠近等运行轨迹做出监控预警和反馈修正,从而确保教育目标有效实现的活动。它不但关注教育活动过程的状态本身,也对这种状态对教育目标的影响进行价值判断。依据评估对象的层次,监测评估可分为宏观、中观和微观三个层面。宏观层面的监测评估关注国家或区域教育事业的全局,通过对教育发展状态数据的监测分析,对发展中已出现的问题、潜在的风险、未来的趋势做出系统分析和预警。中观层面的监测评估着眼于院校教育教学质量的提升,以学校人才培养工作为对象,可以被当作教育教学评估的一种新形式。微观层面的监测评估则属于院校内部教育质量保障体系的范畴,可由院校自身利用监测评估的方法工具开展自我诊断与评价。本书所探讨的监测评估聚焦中观层面的高职院校人才培养工作评估。
2.监测评估与传统评估的区别
监测评估与传统评估主要有四个方面的区别。
(1)关注的重点与目的不同
监测评估关注教育实施过程中人员、资源、管理等要素运行的状态信息,以及运行过程同预定目标计划的一致性。监测评估的目的在于监控教育教学工作状态和教育活动进展,及时修正活动偏差,查找教育活动成败的原因,改进实施计划与决策,提高教育资源使用效率,增强教育质量信息的公开透明度,加强教育问责(见图7-1)。传统评估则更多地关注教育活动实施的静态结果,并对结果与教育目标之间的达成度做出价值判断。
(2)发挥作用的机制与举措不同
监测评估是根据事先达成一致的教育目标和计划对教育实施的过程要素信息进行常态追踪,对实际执行与预定计划之间存在的偏差进行鉴别,对发现的问题及时补救,对潜在的风险做出预警提示,并反馈改进建议。传统评估则一般在某个教育活动周期结束以后开展,是对既成事实的长期教育结果的测量、判断和评价,它所提供的反馈信息只能用于未来教育活动的改进,而无法对正在实施的教育活动及时发挥作用。
图7-1 教育监测评估的目的
(3)信息来源的渠道和信息反馈机制不同
监测评估主要通过常规、定点或制度化的信息收集、实地考察、进展报告等方式采集信息,以正在进行的活动和阶段性进展为基础进行信息反馈。传统评估所需的资料则主要来自院校所提供的历史数据以及各种报表信息,以长期成果或最终结果为依据,着眼未来发展进行信息反馈。
(4)实施的主体、频率与时机不同
监测评估强调要让外部评估专家、教育管理者、高校内部人员、用人单位等利益相关者作为评估的主体参与其中,强调各评估主体之间的平等交流、共同建构、互动协商;评估工作始终贯穿于教育活动实施的全过程,关注正在发生的事实[19]。传统评估的主体则通常是以外部评估专家为主,其他高等教育利益相关者的参与度和话语权较弱;传统评估通常在某项教育活动的中期或者结束时实施,关注已经发生的事实,具有偶发性、周期性的特点。
3.监测评估的特征
相较于传统评估,监测评估具备如下五个特征。①持续性。它对教育教学活动过程信息的追踪和收集是常态化、持续性地进行的,而不是一次性、终结性的。②系统性。它对过程信息的收集和追踪贯穿于教育活动的各个阶段和环节,渗透到教育管理的各个层面,而不局限于某个特定的阶段。③即时性。在时间向度上,它关注当下正在实施和未来将要实施的教育活动。④反馈性。监测评估不但关注“正在发生什么”,而且关注正在发生的事实或行为的合理性,通过鉴别评判教育教学实践的优势和不足,及时提供反馈意见和改进措施。
(二)监测评估应用于高职教育质量管理的必要性与适切性
评估是质量管理的工具,促进人才培养质量的提升是开展高职教育评估的出发点和归宿。检验监测评估是否适用于高职教育评估领域的标准是看其活动的目的和方式与高职教育质量保障目标之间的契合度。
1.监测评估反映了教育评估理论革新发展的时代需求
纵观教育评估发展的历史进程,评估理论的每次演进都有特定政治经济等因素的推动,都与其所处的社会背景密切相关。随着世界高等教育发展面临的环境更加复杂以及高校、政府、市场、社会四大力量之间的相互影响和制衡进一步加剧,传统评估模式的缺陷日渐显露,在评估实践中屡遭诟病,在教育质量保障体系中显得越来越力不从心。现实形势的变化倒逼着传统评估必须实现如下转变:①评估的功能由注重“认知、鉴定、监督、管理”向“发展、导向、改进、形成”拓展和转变;②评估的形式由“静态性、一次性”向“动态性、持续性”转变;③评估的视角由“关注结果、历史回顾、分析判断”向“关注过程、现实评判、未来指引”转变;④评估方案和指标体系由预成性向生成性转变;⑤评估方法手段更加多样化、现代化和个性化,提倡定量与定性相结合。监测评估在反思传统评估理论所存在的问题与不足并吸收其经验优势的基础上,在评估理念、目标、方式、手段等方面充分反映了当今时代对教育评估的新要求,预示着一个新的评估时代的到来。
2.监测评估能促进内部评估与外部评估、目标管理与过程管理之间的有机结合(www.xing528.com)
当前,高职院校外部质量保障体系建设受到普遍重视,内部质量保障体系建设则相对薄弱。强化院校内部主体的质量意识、建立健全校内质量保障体系是新时期国家教育评估政策的重要导向。监测评估主张吸收高职院校的内外部利益相关者共同参与评估过程,促进内部评估主体和外部评估主体之间的平等协商与交流,共同对学校人才培养工作的状态做出把握、分析和评判,共同确定人才培养质量改进的建议和措施,有助于进一步激发内部评估主体的积极性和主体意识,提高评估资料信息采集的可靠性和有效性,实现内部质量保障与外部质量保障体系之间的有机结合。目标管理与过程管理是实施质量管理的两种基本形式,二者各有所长,在教育质量管理中坚持二者的辩证统一已成共识。高校人才培养工作是在一定的软硬件基础设施的支撑下,由一系列紧密有序的教育教学活动构成的过程体系。在一定程度上,教育活动过程要素的质量决定着最终教育目标实现的质量。因此,一个健全的教育质量保障体系必须关注教育教学的过程要素。监测评估通过对高职院校人才培养过程状态信息的持续收集和及时反馈,能够及时修正教育教学活动的偏差,有助于形成教育质量过程管理的长效机制。
3.监测评估满足了公众对院校管理运行的参与权和知情权的内在需求
高等教育大众化使“象牙塔”式的大学走进了现代社会生活的中心。大学、公众和政府之间联系日益紧密,高等教育消耗的社会资源所占比重不断增加,当代社会管理民主化趋势不断深化,这些因素都使加强高校问责、大学事务透明化、吸收多元社会主体参与高校治理的诉求日益高涨。以大学排名为例,尽管其本身还远不成熟且未获得官方认可,但近年来参与从事大学排名的民间机构和个人却呈现上升趋势,各类排行榜层出不穷,社会公众和媒体对大学排名的关注度也日渐高涨,其社会影响日益扩大,显示出较强的生命力,给高校办学带来了巨大的压力。实际上,大学排名诞生的初衷并非直接服务于高等教育质量的提升,而是为了满足社会公众对大学办学与发展知情权的需要;它只是客观上促进了大学间的竞争,从而对教育质量的提升具有一定的积极意义。监测评估通过建立科学、动态、持续性的信息收集、分析和发布机制,定期公开高等教育不同层面的监测评估报告,在评估实施方式上充分吸收包括高等教育外部利益相关者在内的多元主体参与其中,提高高等教育事业发展和管理工作的透明度,充分反映了现代社会民主管理的发展趋势,满足了社会公众对大学治理的参与权和知情权。
(三)高职教育监测评估实施的基本原则
作为一种全新的评估理念,监测评估的有效开展须遵循如下原则。①多主体参与原则。要吸收高职教育的主要利益相关者参与评估工作全过程,如共同确定评估方案和指标体系,协同做好人才培养数据的测量、记录、整理、反馈等。②沟通协商原则。互动协商是监测评估实施的一个重要特征。各评估主体应通过平等的沟通交流,就监测评估的目标对象、实施步骤、信息收集与分析的方法工具、评估指标的内涵、评估信息解读和共享的方式、拟采取的改进措施等充分交换意见。在此过程中,各评估主体间应相互尊重,努力协调潜在的冲突和分歧,及时吸纳合理性建议和诉求,充分达成共识。③相互学习原则。参与监测评估的多元评估主体从自身立场出发,对评估工作中相关事务的看法和观点可能会有所差异,这种差异源自彼此知识结构的缺陷和信息不对称。各评估主体之间应相互学习交流、取长补短,共同完善评估实施方案和流程。④灵活性原则。随着时间的推移,监测评估的环境和方法、利益相关者的数量和角色等因素可能会发生变化,应采取相应措施调整评估策略(见表7-3)。此外,评估者可以根据评估对象的特点采用多种方法来收集信息,不必拘泥于某种形式。
表7-3 利益相关者在监测评估与传统评估中的角色比较
(四)高职教育监测评估的实施模型
在监测评估中,高职院校内外部利益相关者在评估中的角色地位与传统评估有着显著差异。传统评估通常由外部利益相关者在政府部门的授权下组织实施,内部利益相关者处于被动和从属地位,在实施模式属于外部专家主导型。监测评估在实施模式上则属于联合主导型,由院校的内外部利益相关者共同承担相应职责,共同融入监测评估的谋划与执行过程。联合主导模式有助于获取评估对象更加全面、立体化的信息,有助于各利益相关者之间实现优势互补,全程参与评估筹备、实施、结论形成以及方案修正等工作,体现“平等参与、共同建构”的基本理念(见图7-2)。
图7-2 高职教育监测评估的实施模型
(五)高职教育监测评估的实施步骤
由于评估的理念与重心不同,高职教育监测评估的实施与传统评估有着诸多区别。一个典型的高职教育监测评估活动须经历八个步骤。①识别并确定利益相关者代表。通过相关工具对高职院校的利益相关者进行识别、分类和排序,确保核心的利益相关者均能参与评估。②协商确定评估的预期目标。利益相关者们应充分表达对评估目标和高职教育愿景的期望和诉求;之后通过协调分歧,最终确定所要实现的监测评估的关键目标与结果。③明确评估的对象与重点。通过协商讨论,由各利益相关者共同确定评估的对象与重点内容,以及对评估资料信息分析评判的参照标准。④以评估目标为中心制定实施方案。各方就评估人员职责分配、时间进度要求等协商达成一致,明确各参与者的任务。为确保评估效果,评估实施中还应设立专门的观察员角色,加强对评估各环节的督查。⑤根据监测评估方案和指标收集资料信息,正式实施评估。若实际情况与预定方案发生冲突,则应及时调整评估策略。⑥分析信息资料并形成监测评估报告。利益相关者们共同参与,以批判性的眼光对高职教育人才培养过程中的成就和不足进行审视和评判,形成监测评估报告,并讨论决定下一步要采取的行动措施。⑦评估结果的分享与利用。监测评估报告要与所有利益相关者分享并通过适当方式对外界公开,同时,应就评估报告的结果运用达成一致。⑧调整监测评估方案。针对实施中存在的问题对监测评估步骤和程序进一步澄清、梳理和改进。由于监测评估方案的制定需要经历各利益相关者之间协商讨论的必要程序,所以,确定评估指标体系和评价标准是监测评估实施中最为艰难,也是最为重要的一环(见图7-3)。
图7-3 高职教育监测评估的实施步骤
(六)高职教育监测评估指标设计的注意事项
指标体系是评估实施方案的核心。参与监测评估的利益相关者越多,制定评估指标体系所需的时间就越长。在设计评估指标时,应首先明确“收集什么样的信息、谁来收集、何时收集、怎样收集、收集的频率怎样”等具体问题。评估指标既要反映人才培养中定量的、硬性的、可感知的显性因素,也要尽量覆盖难以量化、偏主观性的隐性因素。因此,高职教育监测评估的指标体系至少应包含:人才培养目标、人才培养计划的制定情况与实施进度、教育思想观念、教学方式方法、创新精神、预定教育目标的实现程度、影响目标实现的环境因素、人力物力等资源的配备与使用情况、对利益相关者的影响等。为确保评估指标体系的效度,在具体设计指标体系时须注意的事项如表7-4所示。
表7-4 监测评估指标体系设计中的“应”与“否”
(七)高职教育监测评估的从业人员遴选
教育评估是一项专业性工作,但在倡导评估主体多元化的监测评估中,要求所有参与评估实施的人员都具备较高的评估专业水准显然难度较大。因此,应加强对监测评估从业人员的考察遴选和教育培训,使其具备从事评估工作所需的基本能力素养。在选聘评估人员时,既要考虑其评估专业知识和技能,又要考虑其是否具备协调分歧、解决冲突的人际交往能力,沟通表达能力,与评估对象相兼容的价值观和行为方式,以及工作的质量意识、责任意识,客观、诚实、可靠的个人品质等[20]。就监测评估的工作团队而言,成员们的学科背景和实践履历应尽量多元化。评估人员自身则应摆正在评估中的心态和地位,将角色定位于指导者、服务者、合作者,而非评判者、指挥者。
(八)高职教育监测评估的方法与工具
高职教育监测评估的实施,首先,需要一套制度化、规范化、常态化的状态数据采集机制并实现信息的多方共享,确保数据的即时性、客观性和可靠性。其次,需要额外的信息补充采集机制,如现场考察、随机抽样、问卷调查、利益相关者访谈、参与式观察等,以获得更加立体、全面的信息。再次,需要利益相关者参与的方法与机制,如利益相关者需求分析与研讨、头脑风暴、多边会谈、态势分析(SWOT分析)等。最后,需要数据处理的方法与工具,包括应用一些数据统计与分析软件、构建数学模型对监测数据进行深度分析等,具体应结合评估对象和环境的特点灵活选择。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。