定性评价是一种对研究对象进行“质”或对类型方面来分析事物、描述事物的一般特点,揭示事物之间相互关系的方法。它要求占有十分丰富、符合实际的材料,然后用正确的观点,对这些材料去粗取精、去伪存真、由此及彼、由表及里地全面分析和综合,最终从现象中找出具有普遍意义的规律。它主要解决研究对象“有没有”或者“是不是”“是什么”的问题,通常根据人们的经验和主观判断来确定。在学术资源的评价上,常用的定性评价法包括同行评议、发表学术评论、问卷调查法等。
1.同行评议
同行评议(Peer Review),又称同行专家评审,指同一个学科、研究领域或同一个研究方向的专家按照一定的标准对学术期刊、研究成果、人员、机构等进行的评价活动。
同行评议的源起要回溯到1665年,法国议院参事丹尼斯·戴萨罗(Denis de Sallo)在巴黎创办了世界上最早的期刊《学者杂志》(Jouraldes Smmns),创刊号共计20 页,包括十篇文章和几位学者之间有关科学和学术发现的信件。尽管过强的皇家学会背景限制了普通知识阶层的参与,但“这份期刊创造了世界上第一个由科学家组成的编委会,以协助编辑评审稿件,并形成了期刊同行评审体制的雏形”。1731年首次出版的《医学散文与观察》(Medical Essays and Observations)正式介绍了我们今天所知的同行评议过程。同行评议经过多年的发展和完善,被视为汇聚专家智慧、识别重要思想、更正研究错误、确保研究团队获得更大团队知识和支持的重要方法和可靠工具,承担起了控制和提高期刊文章质量的职责,扮演着“科学的守门人”、过滤器的角色,已成为世界各国知识界学术评价的主要方式。其适用领域已逐渐从学术期刊的审稿发展到评审项目、经费的分配等。
但同行评议机制也暴露出一些问题。比如在评审过程中,评议者的主观因素可能影响评审结果,再比如评审者对被评审对象所涉及的知识内容的熟悉程度不同,而导致的评审结果与实际情况之间存在误差。另外,一些评议者由于利益冲突或竞争关系,可能给出不公平的评价结论,或故意拖延评审时间,导致创新性的科研成果不能及时发表,影响科研人员创新思想的首发权等。同时,同行评议难免会产生马太效应。在学术界越有声望的人,越有可能和有资格参与同行评议,同时也有资格推荐他人参与同行评议。这样,当有名人参与的项目在被评审时,或多或少会占些便宜。同时,同行评审在某种程度上已成为投稿和发表的单一界线,入侵同行评议系统,利用同行评审进行诈欺的事件屡有发生。2014年SAGE 因为科研人员伪造身份操纵期刊在线系统而撤稿60 篇论文;2015年施普林格因为同行评审造假一举撤销64 篇已发表论文;2017年,107 篇中国论文因涉嫌同行评议造假,同日被施普林格撤稿。
尽管同行评议存在着一些问题,但调查显示,大多数学者对同行评议及其带来的积极效果(控制质量、改善文章质量)持肯定态度。Sense About Science 联合Elsevier 公司完成了面向40000 名科研人员的问卷调查,结果表明,只有15% 的被调查者认为正式的同行评议应该被使用统计所取代。同行评议作为学术资源的评价手段还将不断完善,持续发挥应有的作用。
2.德尔菲法(www.xing528.com)
德尔菲法可用于期刊的定性评价。其形式是由组织者向每位专家组成员单个通信联络,专家之间背靠背发表意见,组织者在对专家意见进行整理、归纳、统计后,再反馈给各专家,再次征求意见,如此反复多次直至得到一致的意见。德尔菲法的优点在于专家组成员在完全匿名的情况下交流思想,可以消除权威的影响。缺点一是过程比较复杂,花费时间较长;二是议题不能太复杂,否则会导致意见难以实现集中。
3.发表学术评论
科学研究的复杂性决定了研究过程的阶段性、曲折性和不断发展性,学术研究在不断的批评和反批评中不断发展和超越。从学术研究自身的发展逻辑来看,学术批评对学术研究具有重要的功能与作用。学术批评彰显学术立场并引领学术发展方向,有助于学术创新,可优化学术生态,砥砺学术思想发展,可增强学术认知能力,有助于学术积累与思想革命。撰写和发表学术评论成为研究成果的定性评价方式之一。
4.专家访谈
专家访谈主要通过实地调研与专家面对面就期刊评价等相关问题进行交流;对期刊评价体系或者方法建言献策,或者针对某个学科的期刊进行集中评审。
定性评价的优点主要体现在直接和专业。直接是指直面评价对象,所有的信息都可以为评价所用,而不必考虑其是否能转换为数据,更无须复杂的运算。专业是指其评价主体来自学术共同体,能够深入到内容层面进行评价,是一种专业性的评价。但是其缺点也是明显的。单纯的定性评价有可能使评价成为一种纯粹的主观判断,必然受到评价者自身学识、德行等多方面的制约,以及外界各种因素的干扰,公正性难以得到保证。定性评价的过程难以展示,很难做到公开;如果将评价视为一种科学研究或实验,其过程难以重复验证,科学和公平也难以体现,使定性评价的随意性难以避免,公信力难以保证。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。