一、为什么要评估?
1.评估的目的
评估是让我们知道到底学习了什么的工具。服务——学习一方面要洞察到底学生学习了什么,也要知道他们为谁服务,服务什么。因此评估的起点是提出一系列问题。例如:
●评估是为谁而做的?谁需要评估结果的资料?大学?社区?赞助者?教育厅?教师?
●评估的目的何在?我们想达到什么要求?
●机构(大学)或者社区组织能提供进行评估的资源吗?
●评估由谁负责?
●评估必须在计划的哪一个阶段进行?
●哪一种研究方法最适合于本计划的评估?
●如何保证评估的后续工作?
评估至少可以帮助我们达到三个目的:
(1)它可提供参与者(教师、学生、社区)在整个计划过程中适当的时期,停顿一下做整体性的回顾、反馈。每一个方案的进行不一定是直线前进的,有时候人们必须停一停,总结调整一下,改变方向或内容,然后继续前进。
(2)评估也具鼓励性的效果。许多教师与学生很少庆功。评估的结果可以让参与者好好庆祝一下计划的成功以及已顺利完成的那些部分。
(3)评估是计划往前跨一步的指针。教师、学生与社区可借评估结果策划下一阶段的需求以及借此机会寻求进步。它也可以为其他想实践的相同或类似计划者提供珍贵的参考资料。
评估所涉及的领域可宽可窄。最窄的是局限于服务——学习的课程,而最宽的评估则涉及整个学校的评估。因此它往往牵涉教育目标与教学政策。评估在计划实施前,称为评价(evaluation),在计划实施后,称为评估(assessment)。但愈来愈多的计划都必须做设计与实践后的检视,因此,我们笼统地用评估(assessment)一词来涵盖前后的评判与总结。
服务——学习评估的参与者是多层面的。评估的目的是去洞察参与者如何影响服务——学习的对象(社区及社区的居民);它也必须洞察参与者如何被他们的服务对象所影响。
服务——学习一般都是以社区为本(community-based)的学习。学习在社区中进行而非在狭窄的教室内进行。因此,社区在服务——学习中扮演着很重要的角色。我们不仅要评估社区的资源变迁,也要评估社区负责人在整个服务——学习中对学生所能提供的学习机会和指导。服务——学习中,学校与社区成了合作伙伴。因此,双方的合作过程与模式如何提供学生最好的学习环境与体验也都应该纳入评估的内容。
服务——学习计划的四个主体为教师、学生、社区、高等教育机构,对项目的评估可以分别进一步问一些现实的问题:
(1)教师:为什么要参与非传统的教学方法?全校的其他教师们会特别尊重教授这门课的教师吗?教这门课对升迁的考核有帮助吗?我所投入的精力是否能在学生身上看到理想的效果?课程大纲中哪一部分最能提升学生的学习兴趣与效果(如:反思报告,服务——学习博览会,社区访问,与社区不同人群的接触等)?教师如何适应从传统的教授知识为主的授课方式转移到以提升学生学习效果为主的教学方式?教师如何适应从传统教学自主权转移到必须与机构(大学与社区机构)密切合作与沟通的教学方式?既然学生必须用很多时间在社区活动,因此与一般课程比较将可能少看书,如此会影响课程的学术完整性吗?[1]
(2)学生:我如何能够利用我的潜能,一方面发挥服务的精神,一方面经历最高的学习曲线?假如不能达到预期效果,我如何去改进?服务——学习对我将来毕业后的公民参与能有何种程度的影响?
(3)社区:社区应该扮演何种角色协助学生洞察真实社会?社区如何衡量在服务中的学生学习情况?这些利益是短期的还是长期性的?是点上的还是面上的?
(4)高等教育机构:大学如何来记录这个计划的成功?大学如何继续以实质性的方式来支持参与这些课程的教师、学生以及相关部门?大学的何种环境对服务——学习计划的推行与发展最有利?服务——学习计划给高等教育在社会中的角色带来何种启示?它对一般的高等教育改革会带来何种影响?(www.xing528.com)
这些都是切合实际且重要的问题,尤其有关教师的一些议题是与服务——学习体制化的议题息息相关。这些议题一般不会在课程的评估表格或问卷中提出。
2.评估前的策划
评估之前,有一些事项是必须考虑与策划的。
(1)并非所有指导服务——学习项目的教师都受过评估研究的训练。评估需要量和质的测量,因此,它涉及研究方法论(例如:问卷的设计,何时做评估最理想,资料的搜集以及统计的分析等等)。许多服务——学习课程的评估都委托评估专家来执行,有时候也利用别人已设计好的问卷。这将涉及经费、聘请顾问以及确认评估调查用的工具(问卷或其他资料收集方式)的可靠性。
(2)考虑有关服务——学习评估的基本概念:到底要评估什么?何时?对谁作评估?评估的目的何在?这些问题必须有明确的定义后,才可以进行评估。
(3)考虑有关资源问题:由谁来负责?有何资源?如何鼓励受评估者或者机构的合作?评估一般而言是有时间性的,能否在预定时间内完成?
(4)考虑开展评估的方法:采取定量还是定性的方式?或两者综合兼用?不论采取哪一种方法,如何测试评估调查工具的有效度与可信度?
(5)考虑评估后资料的运用:任何研究如果不公开结果,便失去研究的意义。研究结果给谁作参考?研究结果对下一个项目有何助益?如果研究结果表明本项目是负面的,那么下次如项目赞助金等的资源会减少吗?
(6)该服务——学习计划/项目需要有特殊的空间吗?
当然,做任何评估之前,一定要有计划。最基本的五个问题是:我们想要测量什么效果/结果?评估是为谁而做的?给谁看的?如何衡量一个项目的成功?如何测量改变?这些都关系到研究方法论。
归纳起来,评估需要把握的关键是:
(1)评估必须基于项目的目标(goals)。也就是说,评估首先要测量项目的目标是否达成了?或达到了百分之几?或者是否超越了原先的预期目标?
(2)评估的内容必须基于能测量的内容。即项目的目标不是抽象的,它必须是量化的,量化才能测量。例如:一个服务——学习项目计划是对某个社区服务,这个说法很抽象。将此目标量化后成为:为此社区建立一个合作社,每年合作社将有几千元的利润。这样,目标是否达成,就可测量了。所以,测量的指标必须是明确的,而且要测量的概念必须是可操作性的定义(operational definition)。例如:社区健康是一个概念,如何测量这个概念?它的可操作定义可以包括社区内精神病患者的人数,肥胖症患者人数的变化,等等。
最常用的测量工作包括访问(个人或电话),专注群体(focused group),档案(文件夹)分析、观察、问卷、笔记、个案报告等。如何选择测量工具涉及下列考虑:
●设计:例如问卷长短,开放式或者封闭式,做评估的预算。
●资料收集:何时、何地、向何人。
●资料分析:必要技巧(例如:统计),何种程度的分析(简或繁,或多项统计分析)。
●评估测量工具本身的问题:例如工具的可信度与有效度,有无偏见的设计,等等。
●分析结果:用何种方式来发表分析结果,谁对分析结果有兴趣,结果会对谁或者哪些群体有影响。
●评估效应:如何利用评估结果对本项目做进一步改善或改变计划。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。