新型智库质效的第三方评价探讨

近年来，随着新型智库的兴起，关于智库发展状况的第三方评价迅速兴起，一时间各类智库排名和研究报告热起来。从目前看，影响力较大的智库评价，国外有美国宾夕法尼亚大学智库与公民社会研究项目组每年发布的全球智库报告，国内评价机构主要有中国社会科学评价研究院《中国智库综合评价AMI研究报告（2017）》，南京大学与光明日报合作的《CTTI智库报告》，上海社科院智库研究中心《中国智库报告》，四川省社会科学院与中国科学院成都文献情报中心《中华智库影响力报告》和《清华大学智库大数据报告》，等等。

一、 全球智库评价的基本情况和指标构成

1. 麦甘《全球智库报告》的评价指标体系。全球影响力最大的第三方智库评价体系当属由麦甘教授率领的宾夕法尼亚大学智库研究项目（TTCSP）编写的《全球智库报告》。虽然该报告的研究方法主要采用了定性的专家评价法，而专家名单却并未公布，这一问题受到广泛质疑，加上北美地区以外的智库基础数据获取与排名结果也备受争议，但是作为一套完整，且覆盖范围广泛的评价体系与排名结果来说，《全球智库报告》在促进全球智库发展上起到了重要的推动作用。《全球智库报告》的评价指标体系，主要是从智库的资源指标、效用指标、产出指标与影响指标四个方面对智库进行评价，如表15.3所示(9) 。

表15.3　麦甘《全球智库报告》的评价指标体系

2. 全球智库综合评价指标体系。中国社会科学评价中心（中国社会科学评价研究院的前身）于2013年底成立，并于2014年2月起正式启动全球智库评价项目。2015年11月，在第二届全国人文社会科学评价高峰论坛上，中心发布《全球智库评价报告》（2015）。全球智库综合评价指标体系主要从吸引力、管理力和影响力三个层次对全球智库进行评价。其中，吸引力（Attractive Power）：指全球智库的外部环境，良好的外部环境能够吸引更多的资源，提升评价客体的吸引力。管理力（Management Power）：指全球智库的管理者管理评价客体的能力，促进评价客体发展的能力。影响力（Impact Power）：是全球智库的直接表现，是吸引力和管理力水平的最终体现(10) 。中心构建的全球智库综合评价指标体系（2015年试用版）具体内容见表15.4。

表15.4　全球智库综合评价指标体系（2015年试用版）(11)

续表

续表

续表

二、 国内智库研究评价机构的评价指标体系

1. 中国社会科学研究评价院AMI指标体系(12) 。中国社会科学评价研究院成立于2017年7月，是中国社会科学院直属的研究单位，“以制定标准、组织评价、检查监督、保证质量”为主要职责，以制定和完善中国哲学社会科学评价标准，承担和协调中国哲学社会科学学术评价，构建和确立中国特色哲学社会科学评价体系为主要职能。“中国智库综合评价AMI指标体系”主要从吸引力、管理力和影响力三个层次对智库进行评价。吸引力（Attractive Power）：指智库的外部环境，良好的外部环境能够吸引更多的资源，提升评价客体的吸引力。管理力（Management Power）：指智库的管理者管理评价客体的能力，促进评价客体发展的能力。影响力（Impact Power）：是智库的直接表现，是吸引力和管理力水平的最终体现。

表15.5　中国智库综合评价AMI指标体系

续表

续表

2. 上海社科院智库研究中心指标体系(13) 。上海社科院智库研究中心成立于2009年，是全国第一个专门开展智库研究的学术机构。在上海社科院智库研究中心《中国智库报告：影响力排名与政策建议》（2018）中，把智库影响力分解为决策影响力、学术影响力、社会影响力和国际影响力，再加上智库影响力实现的支撑机制，即智库的成长能力等，共同构成对于中国智库影响力的评判标准与指标体系，简称“4+1”智库影响力评价指标体系。需要说明的是，自2014年初上海社科院智库研究中心发布年度报告开始直到2019年初的6年间，题目都是年份+中国智库报告+副标题影响力排名与政策建议。2020年5月份发布的第7份年度报告，名称为《2019年中国智库报告：国家治理现代化与智库建设现代化》，不再对各类智库进行排名，内容主要包括：项目背景、国家治理现代化进程中的智库建设、中国智库发展图景分析、2019年度中国智库发展动态和中国智库现代化建设的问题与对策建议等五部分。报告同时指出，构建中国特色新型智库影响力评价指标体系，目的是更好地体现“以评促建”，以科学公开公正的评价标准为引导，全面落实中央对智库建设要求，为中国特色新型智库更好地服务党和国家工作决策提供重要参照。

表15.6　中国智库影响力评价指标体系

3. 南京大学与光明日报CTTI指标(14) 。在“2018CTTI来源智库发展报告”中，课题组确定了5个一级指标和24个二级指标。5个一级指标分别是M（治理结构，包括理事会、学术委员会、咨询/顾问委员会、管理团队/首席专家、是否国家高端智库）、R（智库资源，主要包括年度预算、科研人员、行政人员、网络资源等）、P（智库成果，主要包括内参数量、被批示内参、智库主办/承办期刊、正式出版图书、研究报告、《人民日报》、《光明日报》理论版、《求是》、其他论文、纵向项目、横向项目等）、A（智库活动，主要包括会议、培训、调研考察）、I（智库媒体影响力，主要包括报纸、电视和网络新闻报道），命名为智库MRPAI测评指标（见表15.7）。

表15.7　MRPAI智库测评指标及其赋值

续表

南京大学智库研究与评价中心中国智库索引（CTTI）2019年增补智库的条件。主要参照七个方面的指标进行考量，如表15.8，尤其注重是否实体化运行，是否有良好的政策研究咨询能力与成果。凡是被各省市和中央部委认定为省部级重点和重点培育智库（政策研究基地）者优先考虑。(www.xing528.com)

表15.8　来源智库遴选参考指标

续表

4. 《中华智库影响力报告》(15) 。四川省社会科学院与中国科学院成都文献情报中心协作研究发布。指标选择遵循四大原则，即评价目标的明确性、指标选取的全面性、指标选取的准确性和指标数据的可获得性。指标体系包括三级指标，其中一级指标5个，分别为决策影响力、舆论影响力、社会影响力、专业影响力和国际影响力（见表15.9）。

表15.9

清华大学公共管理学院智库研究中心朱旭峰教授团队，从2017年开始，连续三年发布《中国智库大数据报告》。主要是通过对智库及专家言论在社交媒体中的大数据分析，推出智库微信公号影响力指数、智库微博专家影响力指数和智库微信引用影响力指数三个分项指标，以及智库大数据指数（TTBI）的评价结果。2020年4月，清华大学公共管理学院智库研究中心和北京字节跳动公共政策研究院联合发布《清华大学智库大数据报告（2019）——今日头条版》。本次智库样本集沿袭2018年《清华大学智库大数据报告》中的1065家中国智库名录。《报告》利用国内领先的通用信息平台今日头条阅读数据资源，构建“清华大学智库头条指数”，包括“智库头条号指数”和“智库头条引用指数”，以观察中国智库的活动特点。其中，“智库头条号指数”综合了机构头条号在当年发文量、阅读数、分享数等八个分项情况；“智库头条引用指数”综合了机构在今日头条平台中的引用文章量及其点赞数、分享数等六个分项情况。报告显示，在1065家中国智库中，2019年有78家智库通过头条号运营的方式在今日头条平台发布文章2.2万篇，阅读量达3.97亿次；有886家智库在今日头条平台受到创作者关注，引用文章达79.15万篇，阅读量达109.06亿次。

三、 关于智库第三方评价的理性思考

新型智库发展的第三方评价，基本上与中国特色新型智库发展同步。随着评价指标体系和评价方法的改进，评价对于促进新型智库发展的正效应更加明显，对于增强中国智库评价的话语权，引导新型智库健康发展，具有一定的积极意义。

1. 充分认识第三方评价的重要意义。中国特色新型智库的评价，与生俱来，与中国新型智库共成长。从目前看，智库评价主要有两种类型，一是以南京大学和光明日报合作的“智库索引+智库评价”，这种评价是依据数据库进行评价，比较容易量化，系统除了评价功能之外，同时具有查询和索引功能。再就是上海社科院智库研究中心“智库研究+智库评价”模式，主要是通过主客观相结合的方式，确定评价的对象和评价的结果，其中更多依靠的是专家的主观评价。第三方智库评价兴起，一方面是智库自身发展的需要，同时也是建树中国智库形象的需要。美国宾夕法尼亚大学麦甘每年发布全球智库报告，能够在一定程度上反映中国智库的整体面貌和地位，但不够全面和充分，推动国内权威研究机构开展中国甚至国际智库评价，也是引导人们正确认识中国新型智库的重要举措，能够通过评价的方式，更好地在国际上宣传中国智库，树立中国智库的良好形象。

2. 把握第三方评价的鲜明特征。智库评价不同于期刊等方面的评价。对于期刊的评价，在给出一定的标准后，进入评价视野的期刊数量是一定的，制定一定的标准，评价就可以了。智库评价最大的难题，是边界的不清晰，一是智库数量的不清晰。由于智库的概念不清晰，缺乏统一的认定机制，什么样的智库进入评价范围，备选池的确定就不是一件容易的事。二是智库边界的不清晰。新型智库建设，认定了一批智库，但智库机构与原有机构、母体机构之间的联系紧密，什么样的成果可以认定为智库的成果，缺乏一个统一的标准。有的智库，在评价时，把相关的成果都拿过来，如果确定一个标准，即只有标注智库信息或者智库署名的成果才能认定，一下子就会砍下去很多，符合条件的寥寥无几。这一方面说明，智库和智库专家缺乏品牌意识，还没有把智库和智库成果作为品牌来打造。另一面，说明做智库的专业性、专一性还不够，很多机构做智库看重的还是名声和支持的经费等，没有真正地把智库工作摆上重要的位置，平时做智库心不在焉，到了考核评估的时候乱了手脚和方寸，拿相关的成果来凑数。第三方机构评价，应当体现出专业性、客观性和权威性。专业性，必须有专业化的评价工具，专业化的评价方法。客观性，通过对智库经营和产出的客观评价和智库专家对智库成果质量的主观评价。权威性，是指第三方机构开展的智库评价，要排除各方面的信息和人情等因素干扰，增强评价的权威性和说服力。

3. 确立第三方评价的正确导向。第三方评价，要淡化排名，或者不能对智库机构进行简单的排名。因为由于评价标准的不同，评价机构对于各个智库情况掌握的程度不同，评价结果与客观实际相比，难免有偏差，基于不完整信息基础之上的排名就不够准确，发布出去之后就会形成误导。再就是不同评价机构的评价指标、评价结果互不相同，掌握智库情况的程度也不一，同一智库在不同评价机构中的排名大相径庭，对于智库发展秩序也是一种干扰。过多的智库排名，也让部分智库感觉到无所适从：不当回事，排名靠后会影响智库的形象；当成一回事，提供智库资料，包括协调与评价机构之间的关系，也颇费时间和精力，增加了智库的负担，影响智库的正常发展。应坚持研究与评价于一体，通过撰写详细的发展或评价报告，对新型智库发展情况把脉问诊，为智库发展开出药方、提出对策建议。评价的主要目的是总结经验，发现问题，以评促建，有关方面要正确客观看待第三方评价结果，智库管理部门在进行第二方考核的时候，可以将第三方评价的相关结果作为参考。

4. 设置第三方评价的科学指标。智库评价难题，与智库建设自身存在的问题密切相关。由于智库的非实体性以及智库边界的柔性，导致智库评价的边界难以确定。一是把智库的核心指标与相关指标结合起来。针对智库类研究机构边界的柔性和弹性，通过数量和权重来进行区别。骨干专家的概念，即承担过智库课题的，以智库为第一署名信息发表两篇文章以上的。非署名成果，骨干专家按照一定的权重进行计算，避免智库机构无边界的扩大。要合理设置智库的考核指标，避免设置的指标过多过细让智库无所适从，疲于应付。二是把以影响力为主的声望评价与以转化率为主的绩效评价结合起来。智库的绩效主要体现在智库的影响力，但由于智库的影响，特别是对最主要的服务对象决策者的影响测度起来比较困难，对于智库的评价维度和评价指标要拓展到影响力之外，即智库建设的基本情况。从另外一个角度，智库从基础架构到前期投入，再到智库的产出，这个转化需要有一个过程，智库的成长力是一个重要的指标。三是智库评价与智库数据库和索引相结合。要按照科学、严谨、规范的原则，根据评价方组织的实地调研和问卷调查采集数据进行评价，建立智库发展的数据库。把评价指标与监测指标结合起来，避免过多的标准使智库无所适从，避免设置过多的无意义的考核指标，让有些智库为了能够有一个较好的名次而搞形式主义。

5. 探索第三方评价的有效方法。第三方评价，作为非对称的外部评价，由于内部指标搜集的难度较大，在评价指标上以外部影响力为主，并且较多地依靠主观测评等专家评价法。比如，有的智库参与评价的积极性较高，会积极主动向评估方提供自己的有关情况特别是绩效。有的智库可能并不愿意被评价，也没有为参与评价做任何准备工作。由于各个智库信息透明度和用于评价的信息数量质量的不同，第三方评估难免产生一定的偏差。也就是说，假设第三方评估设定的指标是合理的，采用的方法是科学的，只要是无法保证智库参与评价信息的真实性和完整性，就难以做出准确客观的评价。因此，在实际操作的过程中，需要把定量考核与定性评价，客观评价与主观评价法结合起来。智库评价，一方面要评价产出的量，以被评价方提供数据为主的量化评价；另一方面要评价产出的质，以评价方和专家评价为主的主观评价，实行智库代表作评价制度。坚持分类评价，不同类别的智库，建设目标和产出的重点各有不同，比如党政智库、高校智库与社会智库之间的差别就比较大，可以采取差别化评价，在保持基本评价指标相同的情况下，设立一些个性的评价指标。也可以评价的指标基本相同，不同类型的智库，各个指标所占的权重有所不同。

6. 推动第三方评价与第一、二方评价的有机结合。与第三方评价相比，管理方掌握更多的信息，信息相对对称，更容易考核出客观结果。比如，对于所管理智库承担党委政府交办的任务、承担的课题和成果的转化都有一个比较清楚的了解。但作为第三方评价机构，具有自己的专业优势和第三方立场，在开展第三方评价的同时，与区域、系统或高校合作，运用专业化的工具，与第二方考核进行密切合作。鼓励主管部门与第三方开展合作，把主管部门掌握一手信息的优势与第三方评估的专业优势结合起来，双方共同制定标准，在获取各项数据之后委托第三方机构具体实施智库的考核工作，以增强智库考核的客观性。或者从另外一个角度讲，第二方在进行智库考核的时候，可以加强与第三方评估机构的合作，把部分或整体考核业务，打包交给专业的第三方评估机构，让更专业的人做专业的事，增强考核的专业性和科学性。考虑到智库成果的内部性和信息数据安全等问题，第二方作为管理部门，也可以借助第三方的数据库和评价指标体系，建设相对独立的考核评价系统。比如，天津市社科联建设中国智库索引（CTTI）天津版，在对本辖区的智库管理和考核中发挥重要作用。在推进第三方评价与第二方考核的有机结合的过程中，智库管理部门可预先设定部分目标，有针对性的目标管理，在设定的诸多目标中，有核心目标，突出核心指标，有些数据可以委托第三方采集。

(1) 部分内容发表在《经济日报》2019年2月27日，原题为《以科学化考核促智库高质量发展》。

(2) 韩树杰：《组织边界的柔性化趋势》，载《中国人力资源开发》2015年第7期。

(3) 聂清凯、夏健明：《网络经济时代企业组织架构重建研究》，载《外国经济与管理》2004年第11期。

(4) 世卫组织：《遏制疫情挽救生命比发论文申专利更重要》，http：//www.bjnews.⁃com.cn/wevideo/2020/02/12/688028.html。

(5) 本节部分内容发表在《经济日报》2019年2月27日，原题为《以科学化考核促智库高质量发展》。

(6) 何绍辉：《智库研究成果评价要做好“三个结合”》，载《中国社会科学报》2014年12月17日第A05版。

(7) 高国力：《智库评价须体现差别化原则》，载《决策探索（下半月）》2017年第2期。

(8) 刘登、赵超阳、魏俊峰、卢胜军、齐卓砾：《新型智库评估理论及评估框架体系研究》，载《智库理论与实践》2016年第5期。

(9) 卢小宾、黎炜祎：《智库评价体系构建研究》，载《情报资料工作》2019年第3期。

(10) 荆林波等：《全球智库评价报告》，载《中国社会科学评价》2016年第1期。

(11) 荆林波：《基于AMI评价的全球智库现状》，载《China Economist》2016年第4期。

(12) 荆林波：《基于AMI评价的全球智库现状》，载《China Economist》2016年第4期。

(13) 上海社科院：《2018中国智库报告：影响力排名与政策建议》，https：//max.⁃book118。

(14) 南京大学中国智库研究与评价中心、光明日报智库研究与发布中心联合课题组：《2018CTTI来源智库发展报告》，载《光明日报》2019年1月7日第16版。

(15) 方茜：《基于系统理论的中国特色新型智库影响力评价及特征分析》，载《经济体制改革》2018年第2期。