定量评估是应用系统分析方法与数量技术,综合各种数据进行客观评估的方法。在科技项目评估过程中,定量评估一般由专家个人评分后得出平均值,有的还需再进行专家组集体评分。定量评估一般采取以下三种方法。
(一)算术平均值法
该方法是用专家个人评分的算术平均值得出专家组评分。在评估组专家个人对论证报告或申报项目建议书评分后,只把专家的评分相加再除以专家人数即可。这种统计方法简单易行,但对于竞争性科技项目的评估,如果个别专家存在偏见,则可能出现误差。
(二)去除高低分求平均值法
该方法将评估专家的评分,去掉一个最高分和一个最低分后再取平均值。如有七位专家参加项目评估,去掉一个最高分和一个最低分后,把五位专家的分数相加,再除以五得出算术平均值分。
(三)分项去除高低分求平均值法
该方法对评分的各个细项均去掉一个最高分和一个最低分后再取平均值。在科技项目立项评估中,可分别把与指南的符合度、研究内容与技术方案、研究基础与保障中的一个最高分和最低分去掉后,再求平均值分。
去掉最高分和最低分再求平均值,是为摈弃个别专家偏见,更客观地反映科技项目的实际情况,特别是对于竞争性科技项目,这种方法使评分结果更具合理性。如一个项目有两家研究基础和技术水平相当的研究机构申报,评估专家在评分时通常会客观评估,给出的定量评分不会有很大差距,但实际过程中也曾出现过个别专家对一家给出高分,对另一家给出低分,相差三十多分。按算术平均值法评估,会造成多数专家推荐的项目建议书反而得分很低的情况。在选择科技项目承研单位的立项评估中,去掉最高分和最低分再求平均值分,可以防止出现专家推荐票数与评分不一致的情况,选择出最具优势的研究机构作为项目承研单位。
示例3-1:
算术平均值法、去除高低分求平均值法、分项去除高低分求平均值法的计分分析
假定有一个科技项目,有两家实力基本相当的单位申报,但只能选择一家作为承研单位。评估机构根据委托方要求,聘请7位专家进行评估。评估专家按与指南的符合度、研究内容与技术方案、研究基础与保障,对两个申报项目分别评分,假定评分如表3-1、表 3-2所示。
1.三种不同计分方法及项目评分
(1)算术平均值法
算术平均值法只把专家的评分相加再除以专家人数即可,两家单位的得分:单位A项目得分为82.42分,单位B项目得分为83.42分。单位A项目比单位B项目低1分。
按照算术平均值法,虽然7位专家中有4位推荐单位A项目,但个别支持单位B项目的专家对单位A项目评分很低,而对单位B项目给了很高的分数,故单位B项目比单位A项目高1分。
(2)去除高低分求平均值法
在分别统计每位评估专家的评分后,将专家评分中的最高分和最低分去除后求平均值分。
单位A项目:去掉一个最高分90分,去掉一个最低分63分,得82分。
单位B项目:去掉一个最高分91分,去掉一个最低分78分,得83分。
(3)分项去除高低分求平均值法
分别把与指南的符合度、研究内容与技术方案、研究基础与保障的一个最高分和最低分去掉后,再求平均值分。
与指南的符合度:单位A项目去掉一个最高分14分,去掉一个最低分9分;单位B项目去掉一个最高分15分,去掉一个最低分11分。单位A项目和单位B项目均为12.20分。
研究内容与技术方案:单位A项目去掉一个最高分50分,去掉一个最低分33分,得47.40分;单位B项目去掉一个最高分53分,去掉一个最低分45分,得47.20分。单位A项目比单位B项目高0.20分。
研究基础与保障:单位A项目去掉一个最高分27分,去掉一个最低分18分,得22.80分;单位B项目去掉一个最高分29分,去掉一个最低分21分,得22.60分。单位A项目比单位B项目高0.20分。
把上述3项相加,单位A项目得82.40分,单位B项目得82.00分,单位A项目比单位B项目高0.40分。(www.xing528.com)
2.三种不同计分方法分析
按算术平均值法计分,单位A项目比单位B项目低1.00分,应选单位B为项目承担单位。
按去除高低分求平均值法计分,单位A项目比单位B项目低1.00分,应选单位B为项目承担单位。
按分项去除高低分求平均值法计分,单位A项目比单位B项目高0.40分,应选单位A为项目承担单位。
从以上分析可以看出,3种不同的计分方法,得出不同的小组评分和2种不同的结论。因此,对于竞争性科技项目的评估,选择合适的计分方法至关重要。
表3-1 按算术平均值法、去除高低分求平均值法、分项去除高低分求平均值法对单位A项目的评分 单位: 分
注:表格中带括弧的分数即统计时要去除的最高分或最低分。
表3-2 按算术平均值法、去除高低分求平均值法、分项去除高低分求平均值法对单位B项目的评分 单位: 分
注:表格中带括弧的分数即统计时要去除的最高分或最低分。
(四)加权平均值法
加权平均值法是对参与科技项目评估的评估组专家按照很熟悉、熟悉、较熟悉、不熟悉进行加权后求平均值的方法。
对科技项目的评价评估,特别是对未来技术发展的分析判断,在很大程度上依赖于专家的专业知识水平。科技项目评审评估要求聘请同行专家,但所请的同行专家对某一技术的熟悉程度是有区别的。如果评估的一批科技项目数量较多,技术领域也有所不同,但又不可能频繁更换评估专家,则也会有专家不是很熟悉该技术领域。长期从事某项技术研究开发的高水平专家,对该技术的国内外发展现状和趋势、实现可能性、制约因素、研究开发所需时间和经费合理性等的分析判断,显然比其他较熟悉该技术领域专家的分析判断更为可信。一个对该技术只是一般熟悉的专家,其分析判断难以达到很熟悉该技术专家的深度。因此,根据专家对该技术的熟悉程度进行加权计分就显得很有必要。
对计分权重,可以根据委托方和不同科研计划的特定要求确定。有的评估机构在进行科技项目评估时,即使有不熟悉该技术领域的专家,也不设立计分权重,均按统一标准计分;有的评估机构在组织科技项目评估,特别是进行技术预测时,专家评分计分权重按很熟悉为100%、熟悉为50%、较熟悉为25%、不熟悉为0,在此基础上求加权平均值。
这种加权平均值法一般用于技术预测、科技项目的通讯评审,特别是对前沿性科技项目的通讯评审。对会议现场评审评估的科技项目,一般不采取这种评分方法。
示例3-2:
加权平均值法计分分析
假定有一个科技项目,聘请7位专家进行评估。7位专家的评分分别为:85分、86分、91分、88分、83分、87分、79分。
虽然聘请的均为同行专家和相近领域的专家,但这些专家对这一技术的熟悉程度是有区别的。为清晰了解和准确把握该技术领域的发展,可以按很熟悉、熟悉、较熟悉、不熟悉,对专家的评分进行加权计算。其加权值为:很熟悉的专家权重为100%、熟悉的专家权重为80%、较熟悉的专家权重为60%、不熟悉的专家权重为0。通过对专家评分进行加权计算,该项目的评分为63.4分,如表3-3所示。如果按算术平均值法计算,则该项目的评分为85.6分。
表3-3 加权平均值法计分
续表
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。