导语

　　3月20日上午，南京市社科联（院）、创新型城市研究院组织专题学术活动，邀请南京大学中国智库研究与评价中心首席专家李刚教授做题为《智库评价中的若干问题剖析》的授课讲座。本文由南京市社科院郑琼洁根据讲座内容整理而成。

　　2013年4月15日，习近平总书记就中国新型智库建设做出了高瞻远瞩深刻入微的批示，各级党委政府也把新型智库建设作为完善决策咨询体系，构建现代治理体系，增强现代治理能力，推动政策共同体更加开放化的重要抓手，新型智库建设取得长足的进展。那么，如何衡量评价新型智库建设的成效自然也成为一个重要话题。

　　智库评价的三类主体

　　学术界就智库下的定义虽然千差万别，但是对智库的公共属性也就是非营利性的认同却高度一致。因为智库是旨在提供公共政策研究和咨询产品的，所以就没有办法完全按照市场机制来衡量智库以及智库产品的价值。那么对这一类公共产品的价值测量，最常用的方法就是公共评价。

　　智库产品的评价分内部评价和外部评价。内部评价主要的目的是控制产品质量控制和测算员工绩效。西方一些历史悠久的智库已经形成了系统有效的产品质量和员工工作量测评体系和方法。在笔者翻译的《经营智库》和《完善智库管理》——这两本西方比较权威的智库管理专著中有详细的论述，此处不再赘言。

　　第一类外部评价主体是智库产品的直接消费者——我国主要是党政军机关、企事业单位和各类型媒体。此类评价主体甚少公开声明对有关智库以及有关智库产品（研究咨询报告等）的评价性意见。他们最直接表达方式是继续用还是不用，可以说通过“用脚投票”来进行评价，鞋子合不合脚穿一次就知道了，不合脚下次就不用了。

　　外部评价的第二类主体是党委政府主管智库的机构，他们评价智库的方式是给身份、给项目和给经费。在放松监管培育社会机构自主能力的大氛围下，主管智库的机构并不愿意在智库评价上走在第一线，以避免成为各方批评的对象。一旦中央层面智库主管机关不愿意做全国性的智库评价，那也就不会出现一个全国性的依靠行政力量研制的智库考核评估体系。这就给第三方评价留下了一定的空间。这就产生了外部评价的另外一类主体，也就是在业界声音最大的是第三方评价机构——把智库评价作为自己“专业”的机构。

　　目前已经露出水面有一定影响力的第三方评价智库评价性报告有5种：

　　一是国际上的麦甘课题组的《GGTTI》，这个报告被翻译成《全球智库报告》其实不太严谨，按照字面应该翻译成《全球实用智库索引》；

　　二是上海社会科学院智库研究中心发布的《中国智库报告——影响力排名与政策建议》；

　　三是中国社会科学院中国社会科学评价中心研制的《全球智库评价报告》；

　　四是四川省社会科学院、中国科学院成都文献情报中心联合成立的“中华智库研究中心”发布的《中华智库影响力报告》；

　　五是南京大学中国智库研究与评价中心和光明日报智库研究与发布中心研制的《CTTI来源智库MRPA测评报告》。对智库的评价有两个基本的维度，绩效（performance）和声望（reputation），前4份报告虽然各有千秋，差别较大，但是基本上属于“声望评价类”报告，智库排名的主要数据来自“问卷”，被调查者提供判断主要基于智库的社会声望和学术声望。而《CTTI来源智库MRPA测评报告》属于“绩效评价类”报告，评价数据依赖的是智库提供或者采集的各类客观数据。

　　智库评价中的主要问题

　　无论是“声望评价类”报告，还是“绩效评价类”报告都受到了各种质疑。在近半个世纪的智库研究史上，智库能不能评价本身就是一个有争议的话题。包括美国企业研究所的大卫弗洛姆在内的许多学者曾经直截了当地表示学者不应该在评估智库（短期、中期或者长期的）影响力上浪费时间，他认为没有什么指标有助于智库影响力的评估。（《国会的理念：智库和美国外交政策》，南京大学出版社，2016年版，页3）。中国国际经济交流中心陈文玲也指出：“一些智库评价根本不了解智库做什么，有的时候发生的事情或者作的事情是重要的，但并不便公布。……中国国际经济交流中心每周参加国务院常务会，也有同志参加《政府工作报告》和重要问卷起草，这些从来不向没有向社会宣传，这些也不能说，这些又如何评价？”他们其实提出了“智库影响力评价如何可能”的基本理论问题。笔者认为智库研究界虽然对智库影响力有了一些理论研究，比如提出了政策影响力、学术影响力、国际影响力、公众影响力、媒体影响力的划分。当一个概念（concept）可以用数值来量度时，这个数值就称之为变量（variable），有时候，需要先从概念到指标(index)再到变量。问题就出在智库影响力概念是不是都可以转为可量度的指标和变量。现在几乎所有的智库评价报告这个问题都没有很好解决。从一个侧面说，智库评价的基本理论问题尚未很好解决。

　　其次，无论是“声望评价类”报告，还是“绩效评价类”报告都存在方法和技术上的困难。“声望”是一个混合的认知和体验概念，被调查者有可能有使用智库产品的体验，也有可能是智库领域的专业人士，也有可能只是一般的学者和媒体人士。被调查者对智库声望高低的判断就个体而言，主观性很强，很容易受到“品牌营销”的影响——一个在媒体营销上大笔投钱的智库，其品牌影响力肯定要高于在某一领域有极高建树但却从不做品牌推广的智库。陈文玲形象地比喻说，一个政策问题出来后，许多智库根本没有能力做这种研究，也要掺乎，就像“抢红包”一样。其实这种“抢红包”就是为了刷存在感，就是一种打知名度行为。“行业声望”和“行业知名度”虽然不是一回事，但是其中的区别很难细分。因此，“声望评价类”报告的问卷投放如果不局限在“行业小同行”，而是“大同行”，甚至没有选择，那所获得的声望数据可靠性就令人怀疑。

　　麦甘报告的问卷要填写者对全球5000余家智库作出选择，除非填问卷者是“神”，否则没有人能完成这种问卷。国内几份报告做的越来越好，科学性上超过了麦甘报告。但是，有些报告的数据抽样过于集中在特定地区。调查问卷也有些复杂，需要专家花费较多时间填写，这就可能影响专家填写的积极性。“绩效评价类”报告也存在数据收集上的实际困难。大部分CTTI来源智库对数据采集已经非常配合，安排专人从事数据在线填写工作。但是，有些中央部委智库体量太大，加上部分智库机构日常的科研数据文档管理的累积性较差，这些智库如果把CTTI需要采集的数据在规定时间都填完的确有困难。另外，有些数据处于保密期，智库暂时不便向CTTI提供的。当然也有一些知名智库本身就反对智库评价，不提供数据。单纯从网上抓取这些智库的数据是不够的。因此，单纯地依靠定量数据进行智库评价，忽视同行评价、用户评价和公众评价的维度也有偏颇。可见，目前的主流智库评价报告在评价方法和评价技术都还有很大改进的空间。

　　第三，有些智库评价报告的起不到“以评促建”的社会效果。在互联网时代，信息的传播是瞬息可达的，吸引眼球的排行榜更是各类新闻媒体乐于传播的。智库报告传播不能不考虑社会效果之正负。如果上榜智库总是那么几十家老面孔，地方上的重点智库不能冒出来，那么就达不到“以评促建”的目的，无法调动地方智库建设的积极性。

　　智库评价要提升专业化水平

　　我国智库评价中出现的这些问题的成因是多种多样的，要解决这些问题大致有以下几个途径。

　　1、加强评价主体有关评价的知识储备

　　评价是一门大学问，美国、加拿大等国都有全国性评价学会，协调评价理论研究和评价工作。我国虽然有资产评估等专门学会，但是却无全国性评价组织，这说明评价学在我国尚未形成一个专门的知识领域，也没有足够数量的专门从事评价学研究的专家群体。美国评价学会的评价者提出了五条行规，其中就有评价者要有从事评价工作的核心能力，“要确保评价团队拥有开展相关评价的教育背景、能力、技术和经验。”坦率地说，包括笔者在内，我国目前从事智库评价的专家都缺少评价学的基本训练。加强评价学的知识储备，弄清评价工作的基本规律是首先要解决的问题。

　　2、中国新型智库发展需要积淀的时间

　　中国新型智库发展历史短暂，一切尚未定型，需要一个积淀的时间。如果按照布鲁金斯学会成立时间1916年算起，美国智库历史有101年了，而美国第一个有影响力的排行榜是麦甘课题组2008年发布的，也就是说美国智库产生后90多年后才产生一个排行榜，是在美国智库定型以后才出现的。我国智库评价和新型智库建设启动几乎是同步的。这固然是好事，但也是造成我们智库评价先天不足的原因。因为被评价客体的智库特征并不典型，并不稳定，按照这种流变的客体特征抽取的指标体系自然不够完善。因此，智库评价者对此要有高度自觉，要充分认知我国智库发展的阶段性特征。同时，被评价的智库也要“同情了解”各类智库评价报告，评价客体和评价主体彼此都要有耐心。智库评价目前只能做到显性特征显性指标评价，对高端智库为党政机关做的高端和保密的服务这种隐性指标是无法评价的。因为“无数据则无测量”，一些高端智库既然不能把隐性指标公布于众，那现行评价报告的“不公正”问题就不是评价主体故意照成的，不必吹毛求疵。

　　3、智库评价主体改善评价手段

　　智库评价主体改善评价手段，拓展评价产品，严格质量审查。目前智库评价主要手段是排名（Ranking）,甚至把排名等同于智库评价，这就出现了智库评价的悖论，评价本来是要根据对象的多重维度对智库的绩效和专业水平作出精准的评鉴，并不在意个体之间的比较。而所有的排名都是对同类事物之间的比较，而且是局限于非常有限的几个指标的比较。有些智库评价报告虽然也构建了指标体系，也给予了权重系统等，但是在最终排序时并不呈现具体指标分值，只提供一个排序结果。被评价智库从这些报告中无法了解各项指标的得分，对智库的持续质量改进帮助不大。所以，不能把评价等于同于排名。

　　笔者认为，认证型智库评价是当下更为急迫的任务。对于智库消费者而言，他们需要弄清楚各地各行业各领域有哪些值得信赖的智库，有哪些值得信赖的专家，以便消除政策研究供给方和需求方之间的“信息不对称”。如果智库评价能够分门别类把这些问题解决了，那比以争夺话语权为初衷的排名有价值得多。当然，由于我国的政治传统，人民更信赖政府，政府出面或者政府委托第三方机构做一些具有官方色彩的智库认证目录，会更具权威性。这也是笔者一再倡议成立全国智库研究会的原因。当然这一点短时间内恐怕难以实现，恐怕需要几个评价机构之间多合作，开展理论研究和方法研究，共享数据，一期来提高智库评价的专业水准。