为确保科研绩效评价的客观、公正和专业,美国高校科研绩效评价主要委托第三方开展评价。所谓第三方,是指除了赞助方和项目执行主体之外的专业评价机构或团体,例如,联邦政府层面主要包括美国国家自然基金会(NSF)、美国卫生研究院(NIH)等科研资助机构所延聘的专家团体,他们作为专业的第三方,在科研项目的立项、执行和绩效评价中发挥了重要作用。以NSF为例,作为美国高校最主要的科研资助机构之一,2016年,NSF中心电子专家库中的评议专家约有40万人,有34181人参加了评议,评议人遍及美国的50个州和华盛顿特区、波多黎各等地,另有3700名评议人来自美国以外。[14]这在相当程度上确保了科研项目评审的公正、专业与客观。相应地,以同行评议为代表的定性评价和以文献计量等方法为代表的量化评价,构成了美国高校科研项目绩效评价最为基本的评价方式。
(一)不断完善的同行评议
科学研究作为由已知探索未知的活动,必须通过同一专业的专家学者们的集中论证,方可确保科研活动在正常轨道上运行,因此同行评议是科研活动所必然采取的方式方法。美国能源效率与可再生能源局(EERE)在其“同行评议指导手册”中引述美国能源部、联邦政府管理和预算办公室等联邦机构的定义,将同行评议表述为:同行评议是一种严格、正式、有文案记录的评价过程,它运用客观标准,延请专业、独立的评审人员来判断方案和(或)项目的技术、科学和商业价值、实际或预期结果以及生产力和管理效率。[15]这一概念也为国际组织所广泛引用并进而发挥了显著影响。OECD在其“促进科研绩效”报告中,就以此作为权威概念,并引述欧美国家的相关研究与案例,阐述当前国际上关于同行评议的发展前沿。[16]
美国科研项目管理体系中有着较为完备的同行评议制度,二战期间和战后“大科学”发展的背景下,美国科研项目管理中的同行评议得以建立并取得长足发展。最初,同行评议是作为一种项目研究资助的分配机制建立起来,从其定义也不难看出,同行评议首要是用来帮助确定科研项目是否能够立项并获得资金支持。而后,同行评议在判定研究价值、研究是否客观、研究价值评审等方面也发挥着重要作用。在NSF、NIH等机构的充分实施下,同行评议得以长足发展。
以NSF为例,来看同行评议在科研评价中的概况。作为联邦政府最大的科研拨款机构,NSF也是世界上最早大规模采用同行评议来支持科学活动的资助机构之一,其同行评议系统也是目前国际上公认的遴选科学与工程学研究的黄金标准。[17]就同行评议而言,由专业的、独立的审查人员组成学术共同体,秉持客观中立的原则,保障了科学研究的专业性与客观性,因此在学术界常被誉为“学术的守门人”。同样,也是因其学术共同体人数的有限,评审专家难免受其知识领域、研究能力、科研阅历、态度和价值取向等要素所限,以及或可出现的利益冲突等问题,同行评议也时常受到诟病。在政府工作人员,还是科学家那里,同行评议时常被讥为“限于精英圈子”“忽略社会实用需求”“歧视低声望机构中的学者”“不重视年轻人”“利益分配不均”等等。然而也正是在这样的质疑声中,NSF不断完善同行评议制度,诸如扩充专家库,科研评审向年轻人倾斜,重视连续资助方式,以及特设绕开同行评议的小额探索性研究项目等,以确保人尽其才、物尽其用。
如果从利益相关者的角度来看同行评议,则是赞助方(政府和企业)、高校和科学家各方之间,既存在着价值取向和利益上的融合,也交织着彼此间的冲突,分别代表着社会现实需求、企业利润、科研资金以及学术自主等各方面诉求。正如学者楚宾(Chubin)和哈克特(Hackett)指出,“如果政治家放弃他们引导和监督科学的责任,那么,科学与社会之间的桥梁将会被损毁。如果科学家放弃他们科学自治的主张,那么,科学家关于科学的方向与可能性评价所带来的社会收益将会丢失”[18]。由此可见,也正是在社会应用与知识探究的张力中,同行评议逐步走向完善。(www.xing528.com)
(二)绩效评价中的量化分析——以文献计量学为例
如果说同行评议在科研项目绩效评价中发挥内行作用的话,量化分析则同时兼顾了“内行”与“外行”的作用。以量化分析最主要应用的文献计量学为例,一方面,它通过研究文献、专利申请等一系列可以量化的指标,借助引证率、重叠次数、期刊影响力、影响因子等相关术语指标概念,力图客观反映特定学科专业领域的进展,由此取得业内人士认可;另一方面,也正是借助这些可以量化并容易向社会大众普及的指标概念,让外界人士可以便捷地了解科研进展,从而发挥决策咨询作用。
楚宾(Chubin)与哈克特(Hackett)将科研项目评价中的文献计量学发展划分为两个阶段,一是1961—1974年的第一代,“文献计量学”的先驱者主要目的是“为科学提供一面镜子,去建立一种科学的科学”,以开拓关于科学研究分析的新视野,在这段时期,文献计量学家可以结构性地、图形性地描绘科学研究活动的领域和水平。二是1975年至今的第二代,突出标志在于文献计量学自主服务于科研绩效评审,通过新的案例研究去提炼工具和主张,并在委托人资助下尝试将文献计量分析运用于嵌入研发预算和研究评价的政策决策之中。[19]楚宾与哈克特将当下文献计量学的发展目标总结为“实现文献计量分析对(科研)决策所起的预见作用”。在楚宾与哈克特所划分的当下第二阶段,服务于科研绩效研究与评价的文献计量学也取得了长足发展,所开发的新的评价方法和技术,如关键词分析、共词技术等在当下业已渗透到各个科专业,成为基本的研究工具,并进一步引起科研决策者的关注,从而发挥决策咨询作用。
追溯原因,正是由于联邦政府此前颁布的相关法律为科研项目绩效评价的繁荣搭建了宏观环境,《拜杜法案》《史蒂文森·怀特勒技术创新法》将高校科研推向社会和市场,GPRA的实施与修订又进一步促进了高校科研绩效的问责。这种背景下,以项目式管理为特色的美国高校科研获得了长足发展,科研绩效评价体系也逐步健全,分别代表定性分析和量化分析的同行评议和文献计量学均取得了长足进展,各自发挥了重要作用,成为美国科研绩效评价体系不可或缺的组成部分。
当前,在人工智能、大数据、“互联网+”等信息技术不断更新迭代为标志的技术驱动下,无论同行评议还是量化分析都取得了进一步发展,并且利用新技术不断完善评价方式。比如同行评议已开始与量化分析相结合,并借助互联网技术,开展在线评审,全息性记录每一项评审材料,即时反馈评审结果,进一步提升了评审的客观性和评审效率,缩短了评审周期。量化分析也进一步关注绩效,将科研项目的经费、时间、设施等纳入考量,相关的指标体系和评价方法也在不断丰富,并由此形成国际趋势,对各国科研绩效评价发挥着重要的参考借鉴作用。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。