首页 理论教育 提升主观性评价指标比重,加强对难以量化的隐性要素的考察!

提升主观性评价指标比重,加强对难以量化的隐性要素的考察!

时间:2023-08-30 理论教育 版权反馈
【摘要】:由于主观性指标的固有特性,它长期被视为干扰和扭曲评估结果客观性的重要影响因素而被弱化乃至弃用。主观性指标可矫正以定量化为特征的客观性指标所带来的物化效应,防范由客观性指标主导所带来的信息失真,克服评估中“只见物、不见人”的不合理倾向。在学科评估与大学排行评价中,针对人们对传统评估过于偏重“物化”条件的质疑,近些年的学科评估和大学排行评价在坚持以定量指标为基础的同时,已尝试引入更多的主观性指标。

提升主观性评价指标比重,加强对难以量化的隐性要素的考察!

由于主观性指标的固有特性,它长期被视为干扰和扭曲评估结果客观性的重要影响因素而被弱化乃至弃用。近年来,教育领域内外的评估实践与理论研究表明,主观性指标在评估中无可替代的重要地位和价值正被人们重新认识和发掘。厘清主观性评价指标的影响因素并对其加以引导和控制,确保主观性指标评判过程与结果的可靠性,实现主客观性指标的合理平衡,是在应然价值取向框架下,高职教育评估改进过程中不可忽略的重要一环。

(一)主观性指标的内涵特征与价值功用

主观性与客观性相对应,是一种存在方式,主观性寓于客观性之中[21]。高职教育评估中的客观性指标是指能够被直接感知、可用具体数值表征、不以人的意志为转移并可采用一定方法工具加以测量的因素,如建筑规模、师生数量、办学经费等。主观性指标也称感觉指标,是指难以直接度量或计数取值,而主要依靠人们的感受评价确定其量的指标,如学校声誉、办学理念、办学定位与目标、办学策略、发展规划、管理体制、校园文化、教学观念与方法等;难以量化,隐蔽性、多样性、可变性是其基本特性。主观性指标虽然基于个人认知、态度和主观感受,但它并非人们的随意想象,不可能完全脱离客观实际,而是有理有据,令人信服,具有一定客观性并能对评估结果产生重要影响的。

教育评估本质上是一种价值判断活动。价值判断不同于事实判断,后者是对事物的现状、属性和规律进行客观描述(如教学测量),而前者则是在事实判断的基础上,根据评估主体的目标、需求和期望等对客观事实的状况做出判断。这种判断受到评估主体价值观的制约,其显著特点是客观性与主观性的统一[22],是主客体之间相互作用的过程。

从对评估实践的反思来看,随着评估活动在世界范围内的广泛开展,人们愈加清醒地意识到,在显性的量化评估指标之外,隐藏在评估主客体、工具方法等各评估要素中的主观性指标也无时无刻不左右着评估活动的过程与结果。一个不带有任何主观成分,绝对中立、客观、公正的评估不但不存在,而且相较于掺杂了态度、情感人际关系等因素的评估,此类评估也谈不上具有任何价值和意义。该假设几乎适用于所有评估活动,而且绝对适用于教育评估领域。[23]其基本依据是教育评估是教育过程的一部分,而教育的本质即师生主客体之间包含着人格、个性等情感因素的互动交流过程。从科学自身的本质属性来看,主观性在某种意义上是科学固有的属性,只不过由于客观性在科学中处于主导地位,所以科学才以客观性的面目出现,主观性往往被有意或无意地略而不视、视而不见[24]。但科学的主观性作为一种“客观存在”,从未被抹杀,它悄无声息地渗透在人们的科学探究和科学理论建构活动之中。对此予以明确承认和正确对待,是我们深入探究客观真理、减少主观因素消极影响的前提。

基于以上论断,教育评估中主观性指标的价值与功用至少体现在三个方面。①矫正信息失真,扩展教育评估的考察维度与视角。主观性指标可矫正以定量化为特征的客观性指标所带来的物化效应,防范由客观性指标主导所带来的信息失真,克服评估中“只见物、不见人”的不合理倾向。②提升评估活动的参与度和民主性,促进评估主体多元化。主观性指标的介入,可吸纳、回应多元评估主体的价值诉求,使评估参与者的意见感受得以被纳入考量,完善教育评估的民主参与机制。③彰显教育评估的人文属性。作为教育活动的组成部分,教育评估不仅是一门科学,也有艺术的成分,是形象把握与理性把握的统一、情感体验与逻辑认知的统一、审美活动与意识形态的统一。因此,引入和增设主观性指标有助于体现其人文关怀、彰显其人文属性。

(二)主观性指标在教育评估中地位的历史考察

随着人们认知水平的变化,主客观性指标的地位也在不同评估领域和历史时期此消彼长。在企业绩效评估中,从20世纪60年代至今,主客观性指标的关系经历了“客观性指标主导—主客观性指标基本平衡—主观性指标主导”三个阶段,质量管理专家罗萨多对此评论道:主观性指标主导的顾客导向和质量优位,意味着新游戏规则的诞生,是一场管理上的革命。在政府绩效评估中,由于主观性指标灵活敏感且能反馈问题成因,从20世纪80年代至今,主客观性指标的关系在国内外均经历了“由客观性指标主导到主观性指标受重视并发挥平衡作用”的演变过程[25]。我国在教育评估领域,以院校评估和学科评估等为例,主客观性指标的关系经历了如下历程(见表7-5)。

表7-5 我国院校评估中主客观性指标占比

(资料来源:根据教育部网站发布的评估方案整理统计而成。其中,审核评估的观测点为“审核要点”,2008版高职人才培养工作评估的观测点为“重点考察内容”。)

在院校评估中,客观性指标一般表现为量化观测点,主观性指标则表现为定性观测点。从本科院校评估指标的变动来看,20世纪90年代的合格评估中,量化观测点所占比重较大(47%),但它在随后的评估中开始减少,定性观测点则显著增多。平均来看,在6种形式的本科院校评估中,量化与定性观测点占比分别为30%和70%,表明主观性指标已占据主导地位,我国本科院校评估的重心由“硬件”逐步转向了“软件”。在高职层面2种形式的院校评估中,量化与定性观测点占比平均分别为52%和48%,二者相对比较均衡稳定,主观性指标一直占据近半的比重。值得注意的是,在设计一系列复杂系统的指标来考察院校办学状态的同时,以上形式的评估对专家、师生、雇主等评估参与者的主观因素及其对评估过程与结果影响,在评估方案与指标中均未予以体现。

在学科评估与大学排行评价中,针对人们对传统评估过于偏重“物化”条件的质疑,近些年的学科评估和大学排行评价在坚持以定量指标为基础的同时,已尝试引入更多的主观性指标。例如:在2012年全国第三轮学科评估的17项二级指标中,仅有2项明确标识为主观性指标,占比为12%;而2016年启动的全国第四轮学科评估则明确提出要适当引入主观性评价方法,坚持定量与定性相结合,努力克服“纯客观”评价存在的缺陷(见表7-6)。在面向不同学科门类的9种评估指标体系中,明确标识的主观性指标平均占比达到45%,其中,人文社科类学科中主观性指标占比达到47%,接近半数。在广义层面上,大学排行评价也属于教育评估的范畴,以国际上影响力较大的四个大学排名2015年的评价指标为例,美国的美国新闻(U.S.News)、英国的泰晤士(Times Higher Educadion,THE)和QS三大排名均给予了主观性指标一定的比重,主观性指标在上述三个排名指标中所占比例分别为25%、33%、50%,平均为36%;只有中国发布的世界大学学术排名(Academic Randcing of World Universties,ARWU)一直坚持采取纯客观性指标。

表7-6 全国第四轮学科评估主观性指标占比

(资料来源:根据教育部学位与研究生教育发展中心2016年4月发布的《第四轮学科评估指标体系》整理统计而成。)

在学术理论研究视野中,通过检索国内外相关数据库,可以发现,当下学术界有关教育评估主观性指标的研究成果可被概括为两类。①呼吁重视主观性指标的意义与价值。有学者认为,教育评估中存在诸多难以量化考察、往往被忽略的隐性要素,现有教学评估只是围绕教学的外部显性要素展开,若忽视其中的隐性和内在因素,外在因素也难以对质量提升发挥作用,因此应加大对动态的、不易量化但客观存在的隐性要素的考察力度[26]。此处所指的隐性要素多属于主观性指标的范畴。②关注非教学因素对教育教学评价结果的影响。国内外关于学生评教的研究成果提出,评估的时间、地点、方式,教师的性别、国籍种族、政治倾向、情感态度、性格行为、衣着气质、评分宽严度以及学生对课程的兴趣等教学之外的诸多因素,均会对学生评价教师和教学的结果产生影响,应对其给予足够的重视[27]

总体来看,在教育评估领域,一方面,主观性评估指标正渐受重视;另一方面,它的特有属性也使其被烙上了“不客观”的标签,以致当今某些评估活动仍以完全采用客观性指标来强调自身评估的可靠性。因此,探究和控制主观性指标评判的影响因素,是主观性指标的推广应用和发挥其积极作用的必然要求。

(三)主观性指标评判的影响因素

1.评估主客体的主观因素

教育评估也是一种包含各种情感和道德因素的人际关系活动,其间掺杂着价值观、人格个性、情绪心态、制度规范、非正式交流等元素。采取综合分析、比较分类、归纳演绎等逻辑分析方法,对评估客体的相关文献资料、日常状态表现等进行思维加工,得出定性结论是主观性指标评判的主要方式;在此过程中,人的主观因素无时无处不在。按照动机和目的,它可以分为两类。

(1)有意的主观因素

受利益关系、制度环境等影响,带有一定目的倾向的主观因素会对主观性指标评判带来显著的负面影响,它们可被称为有意的主观因素。对评估主体而言,它常见的表现如下。①中庸心态。出于维护稳定、避免误判、不得罪人、懒于深入考察分析等动机,在评估过程中极力避免给出最高值、最低值或者做出鲜明的优劣区分,而倾向于给出中庸或中间化评价,易导致评估活动流于形式。②亲疏效应。评估主体若与评估客体较为熟络,具有共同的认知基础,带有更多情感因素,或相互有利益关联,便容易刻意褒扬,给予较高评价。评估主体若与评估客体较为生疏,价值观相左,在评估中便可能会相互排斥,吹毛求疵。③从众心理。在群体氛围或多数人意见倾向的影响下,碍于情面或出于保护自己而随大流,在评估中不敢表达自己的独立观点和不同意见。

来自评估客体的有意的主观因素同样不容忽视,它主要包括下列表现形式。①防卫心理。出于维护集体荣誉、自我保护、掩饰缺陷等目的,在个别访谈、问卷调研等环节容易表现出扬长避短、避重就轻、文过饰非甚至弄虚作假等行为倾向。②迎合心理。为获得超出自身实际水平的好评而表现出过于积极的心态和行为,如提前摸清评估主体的个性偏好等背景信息,处处充满公关意识,营造积极配合并能博得评估主体好感的氛围和环境,以此感染其情绪。③逆反心理。对评估抱有成见,认为其程序烦琐,干扰了日常秩序,额外增加了工作负担,从而消极抵制或对抗,影响数据采集结果的准确性。④过度重视心理。对于上级发起或与自身利益关系密切的评估活动,被评估者会高度重视,但若重视过度以致高度紧张,在自我评价或者接受访谈时,容易自我贬低或者盲目夸大事实。⑤应付心理。以院校评估为例,由于目前评估结论已不再区分优劣等级,或由于评估结果对学校当下利益的影响不大,可能会出现部分学校对评估重视不足,消极应付。

(2)无意的主观因素

受教育背景、知识结构、兴趣特长等的影响,一些非故意而为,甚至自身难以察觉的主观因素也会对主观性指标评判造成干扰,它们可被称为无意的主观因素,举例如下。①角色心理。评估主体基于角色身份做出价值判断时,无形中会受到自身认知能力的制约,若客体事实超出其常规认知范围,便可能做出不客观的评价。例如:教育理论研究者和行政管理人员就同一主观性指标评判时,可能会得出不同的结论。②刻板印象。它表现为评估主体在潜意识中牢固成型、难以转变的有关评估客体的固定印象和思维定势。刻板印象并非以全面客观的资料事实为依据,忽略了评估客体的现实状况和个体差异,因而容易形成偏见、扭曲或歧视。③首因效应。评估主体基于日常获取的关于评估客体的碎片化信息,头脑中事先已形成对其“优、良、中、差”的大致印象,虽然这种先入为主通常并不可靠,但它却最鲜明、最直接,容易左右评估主体的思维和行为。④晕轮效应。它是指评估主体受到信息不对称或知识结构限制,依据对评估客体某一局部片面的印象,扩展形成对其总的印象和评价,其危害是容易以偏概全。⑤完美情结。评估主体若对评估客体有着较高的期望值,总是以理想的高标准来苛刻审视评估客体,求全责备,也容易导致评判的偏差。

2.评估机制与方法因素

除人的主观因素之外,评估机制与方法也会对主观性指标评判产生影响,举例如下。①评估指标设计存在缺陷,评判标准难以准确把握。客观性指标一般可依据直观具体的数值来做出评判,而主观性指标由于其难以量化、可能性答案多样化,许多评估方案对此通常仅提供模糊、笼统的参照标准,如“思路明确、定位准确、效果良好、风气优良、结构合理、成效显著”等,使得不同评估者自由裁量的尺度空间过大。②评估规范与流程有疏漏。在实践中,评估规章不健全、评估方法选取不适切、评估操作流程不严谨、评估实施过程缺乏监管等问题的存在,也会助长和放大评估主客体主观因素的负面影响,导致不同评估者对同一主观性指标把握评判不一、宽严度掌握不均,影响评估结果的公允度。

(四)主观性指标评判影响因素的控制策略

1.正确看待主观因素的影响与作用

主观因素在教育评估中并非一无是处,也非造成评估结果偏差的万恶之源。例如,若主客体均本着积极态度和正确的动机参与评估,那么他们所表现出的建设性态度便能使评估中物化的、没有生机的量化数据变得更有意义。只是相较而言,主观因素的消极作用似乎更受关注。但是,任何试图通过中立或严密的工具来根除主观因素的做法,都会至少导致两个不良后果:①仅通过技术手段来考察客体的“物理性”表面指标,削弱了评估的意义和价值;②漏掉了评估中仅靠测试、测量等难以触及的复杂定性因素。因此,一味考虑消除和排斥主观因素显然并非教育评估改进的可行路径。从另一个方面看,无论是有意还是无意,主观因素的干扰一般不会超出评估活动自身缺陷和偏差的正常范围,正如在评价学生时,若其正常成绩为70分,即使教师存心抬高或者压低其分数,也几乎不会给出100分或者40分。

2.剖析查找主观因素的成因与动机

(1)有意的主观因素的成因与动机

对于有意的主观因素,其动机和起因比较复杂,可能涉及社会道德或利益关系因素。我们不能简单将导致评估偏差的责任归咎于某一方,而应考虑其作为社会群体的一员、作为某种利益的代表者或某种责任的承担者所扮演的角色,尤其当评估结果会对客体利益产生重大影响时。例如:在院校评估结果被当作财政拨款的参考、评估结论直接影响学校声誉和招生就业等情形下,评估主客体有意的主观因素介入的可能性就比较大,会刻意影响评估结果,使其偏离客体的真实水平。然而,有意的主观因素的介入却难以被察觉和举证,因为通常情况下,故意抬高或贬低评判结果并不会表现得特别明显,很多时候,有意的主观因素会通过一系列看似严密的评估指标、方法或者量化数据被掩盖,使评估结果在确保“公平”的名义下让人很难质疑。此外,来自评估主体的主观因素常受到高度关注并被过于强化,事实上,来自评估客体的主观因素同样不容忽视,其对主观性指标评判的影响有时甚至与评估主体旗鼓相当。例如:评估客体故意迎合满足评估主体的偏好需求,提供对自身有利但偏离客观事实的辅助材料等。

(2)无意的主观因素的成因与动机

对于无意的主观因素,它源于人的天然本性,在人的潜意识中自然产生因而最为常见,正如人们在评判某人某物时,一般不会刻意做出不公正的评价或有意改变评价结果。相较于有意的主观因素,无意的主观因素属于评估的不完美或缺陷,是认知层面而非道德层面的问题,这些缺陷的存在也是促使教育评估不断改进的动力。无意的主观因素的产生,与评估活动的复杂性和评估主客体素质的高低密切相关。同时,下列因素也是无意的主观因素产生的温床和催化剂:①对评估的背景和因由交代不足,评估主体对客体基本信息的掌握不全面、不系统;②面向评估客体的评估工具手段不当;③评估主客体之间存在受情感态度影响的某些特殊关系;④评估活动受到学校所处空间环境、社会公众舆论和群体心理的间接影响。

3.加强对评估主客体的考察培训与教育引导(www.xing528.com)

(1)评估主体层面

①应完善评估人员信息库。丰富人员背景信息采集的类别,从职业操守、知识结构、心理素质思想品德等方面综合考察选配评估人员,严格执行回避制度。②加强评估技能培训。教育评估是一项专业性较强的活动,在评估前有必要开展评估、心理、社交等方面的知识技能培训,使评估人员掌握开展工作应遵循的职业伦理、理论方法、沟通技巧,引导其学会识别和调节个人思想、心理状态,增强主观情绪的自我控制能力。③加强教育评估的过程监测。可设立由具有相应资质的人员担当、独立于评估团队之外的观察员岗位,负责甄别评估人员的心理、行为异常,监督评估实施流程是否规范有序,做好针对性提醒与纠正。④评估人员自身应不断提升个人素养,始终秉持正派的工作作风,消除评估客体的疑虑,增进相互理解与信任。

(2)在评估客体层面

①加强评估政策的宣讲解读,使其正确认识评估的目的和意义,端正接受评估的心态与动机。②引导其认真做好自我评估,客观认识自身的成绩与不足,保持积极进取的心态。③确保评估政策的连续性,增强评估工作透明度,把详细评估计划和日程安排向评估客体公布,以便其及时做好充足准备。④坚持彼此平等和相互尊重的理念,既要积极主动配合评估的实施,又要以平常心参与和对待评估,共同创造宽松、和谐的评估氛围。

4.改进评估流程与方法

①加强对评估中主观性指标内涵的研究界定,在此基础上对其细化分解,利用大数据等技术手段,持续丰富可参照比较的评估数据样本,逐步建立主观性指标评判比对的信息资料库。②因地制宜、精心选取与评估客体特征适切度高的评估方法,加强对声誉调查、专家评议、问卷调研等主观性评价方法运用的指导;优化评估实施流程,研发制作标准化、可操作的评估细则与材料表格。③优化评估结论形成的机制与程序,坚持个体评价与集体讨论评价相结合,为不同评估人员真实表达个人见解创造有利条件,鼓励评估人员讲实据、说真话、敢担当。④建立教育元评估制度,对评估结论的客观性以及指标体系、流程规范、人员资质等的合规性进行检验审视,及时修补评估瑕疵。⑤积极听取评估客体的合理意见与诉求,讲究评估意见反馈的艺术与策略,使评估结果能被评估客体心悦诚服地接受、内化于心并切实转化为改进的动力。

5.培育建设诚信、客观、专业的评估文化

教育评估文化是评估参与者普遍认可并自觉遵守的行为规范、思维方式、价值观念等柔性规则。文化形成的本质是人在共同经历中达成共识,进而使共识成为共享[28]。培育积极健康的评估文化,可促进评估主客体的内心觉醒,提升其精神境界,规范其评估行为,减少主观因素的负面影响。基于教育规律和评估改进的内在需求,评估文化建设应把“求实诚信、客观公正、专业独立”作为目标追求,参考如下实施路径:①树立正确的评估观,淡化评估的功利化色彩,使教育评估回归“诊断、开方、改进”的初衷;②坚持激励与问责相结合,把评估履职情况与个人声誉挂钩,对工作责任心强、作风优良的评估者予以表彰,对故意弄虚作假、滥用职权者予以问责,增强对评估的敬畏之心;③加强评估信息公开,主动接受社会对教育评估的监督,构建评估事务治理的多元参与机制,争取各界对评估事业的理解支持;④利用互联网等现代媒介覆盖面大、传播及时等优势,宣传推广评估典型案例和先进经验,通报评估违规违纪行为,营造风清气正的评估环境。

【注释】

[1]弗·布罗日克.价值与评价[M].李志林,盛宗范,译.上海:知识出版社,1988:43.

[2]约翰·杜威.评价理论[M].冯平,余泽娜,译.上海:上海译文出版社,2007:19.

[3]彼得·罗希,马克·李普希,霍华德·弗里曼.评估:方法与技术[M].邱泽奇,王旭辉,刘月,等,译.重庆:重庆大学出版社,2008:19.

[4]魏小兰.论价值理性与工具理性[J].江西行政学院学报,2004,5(4):63—67.

[5]谢苏一.社会主义和谐社会价值观教育研究[D].重庆:西南政法大学,2006:24.

[6]徐贵权.论价值理性[J].南京师大学报(社会科学版),2003,48(9):10—14.

[7]翟振明.价值理性的恢复[J].哲学研究,2002,47(5):15—21.

[8]李伟.教育的根本使命:培育个体“生命自觉”[J].高等教育研究,2012,33(4):26—34.

[9]李德方.高职院校毕业生技能与薪酬相关性实证研究[J].教育发展研究,2012,32(21):51—54.

[10]李化树.论大学办学特色[J].清华大学教育研究,2006,26(2):75—83.

[11]陈亦冰.面对就业压力大学不能放弃理想[N].中国教育报,2012-07-20(1).

[12]金鑫,王蓉.高职院校办学主体差异与校企合作水平的实证分析[J].高等教育研究,2013,34(2):50—56.

[13]成思危.深化改革要靠制度创新驱动[J].中国软科学,2014,28(1):1—5.

[14]American Association for Higher Education.Constitution of American Association for Higher Education[EB/OL].[2013-05-15].http://www.aahe.org/about/constitution.html.

[15]American Association for Higher Education.Constitution of American Association for Higher Education[EB/OL].[2013-05-15].http://www.aahe.org/about/constitution.html.

[16]周家荣,李慧勤.教育管办评分离:实质基础、行动逻辑和体制障碍[J].高等教育研究,2016,37(7):16—20.

[17]沈忻昕.委托社会组织开展教育评估监测的若干问题[J].现代教育管理,2015,35(5):91—95.

[18]Azad N.Hosein.A Framework for Monitoring and Evaluation in a Public or Private-Sector Environment[R].Trinidad:Project Management Institute,2003:3-7.

[19]Janet McIntyre.Learning from Change:Issues and Experiences in Participatory Monitoring and Evaluation[J].Evaluation Journal of Australasia,2002,2(1):62-63.

[20]Sharon E.Rallis,Gretchen B.Rossman.Dialogue for Learning:Evaluator as Critical Friend[J].New Directions for Evaluation,2000(86):81-82.

[21]李醒民.论科学不可避免的主观性[J].社会科学,2009,31(1):111—120.

[22]周永凯,田红艳,王文博.现代大学教学评价理论与实务[M].北京:中国轻工业出版社,2010:3.

[23]ElisabetaVoiculescu.AspectsoftheInfluenceofSubjectiveFactorsinSchool Assessment[J].JournalPlusEducation,2013,9(1):113-120.

[24]李醒民.论科学不可避免的主观性[J].社会科学,2009,31(1):111—120.

[25]周志忍.论政府绩效评估中主观客观指标的合理平衡[J].行政论坛,2015,22(3):37—44.

[26]刘振天.高校教学评估何以回归教学生活本身[J].高等教育研究,2013,34(4):60—66.

[27]王永林.学生评教的特性及其影响因素初探[J].教育科学,2005,21(1):28—30.

[28]姜雪,张德祥.组织文化理论视域下的大学文化形成[J].教育科学,2015,31(2):59-63.

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈