9月21日-25日是同行评议周(Peer Review Week),今年的主题是“同行评议中的信任”。
国家自然科学基金委员会原主任,浙江大学教授、原校长杨卫做客爱思唯尔专题线上研讨会,畅谈对“信任与科研评审制度”的理解,给青年科研人员进行项目评审、基金申请提出了不少中肯、操作性强的建议,并与网友进行互动。
《中国科学报》对研讨会内容进行了整理,以下为研讨会实录:
Q1: 同行评议除了在期刊评审发挥作用外,相信您还了解同行评议在其他方面的广泛应用,可以介绍一下吗?
杨卫:
不同方面的同行评议我都做过,现在还是爱思唯尔一个期刊的编辑之一。每年从我手里要评五六百篇来稿,涉及发送给审稿人、判断其审稿意见、决定录取与否等。
我们一般谈论的广义评审,可以称作“三评”——评审、评估、评价。其最基本的形式有两种:主观评价和客观评价,分别指由人来评价和由数据来评价。当然也有主观和客观结合在一起进行评价。
我曾做过一个报告,将目前国内实施的主客观相结合的评价归结为9种具体形式。
主观评价,即同行评议(peer review),是一种最基本的评价形式。广泛应用在期刊、科研项目、奖项、职称乃至学生奖学金、先进模范等评审中。
与期刊的同行评议相比,科研项目评审呈现出以下不同特点:
1. 评价项目涉及标的更大,并涉及到国家经费,即纳税人的钱。所以评审过程中一旦出现问题,审计、监督部门就会介入。
科研项目的评审一般是单向的,评完后通知评审结论和意见,没有评上的很难以学术观点不同的争辩而改变结果。
国家自然科学基金条例中规定,评审过程中如果违反了程序,可以申诉,维持程序正义。但如果对评价意见有异议,只能保留。
这和期刊评审采取交互的方式,审稿人、编辑、投稿人有时候可以进行争辩而有所不同。
这是因为,在评价过程中,国家自然科学基金委认为它已经找了一组最权威、最合适的专家,如果你对意见不满意,想要推翻这些专家的意见,就需要找更加权威的专家。
2. 项目评审的时间,尤其是会评的时间往往比较固定,在评审之前不公开专家信息。
在评审之前公布专家信息行不行呢?我们以前试过,在某一年,依照当时一份文件,公开了专家信息。结果很多专家的手机都被打爆了,电话、短信几百个。
这些申请人们并不直接找相应的评审专家,而是去找一个评审专家最难说不的人当说客,这就带来很多问题。
一直以来,我们让评审专家互相打分,来判断组里别的评审专家是否公正,公正程度分为A、B、C,在信息公布的那一年,这个分数一下子下降很多。
因此,从下一年起,我们就不再提前公开评审人的信息,而是在评审之后公布。同时把统计数据、情况说明等报给了相应的管理部门。
3. 项目评审往往会框定一个项目的总数量,如30项或50项,有时则是定出资助金额总量,如1000万等。
一般采取定额补助的财务管理模式,对比所有参评的项目,从中择优选取。
可能你的分数很高,评价也不错,但如果同组里的其他申请人分数更高,你就会被淘汰。
这是一种学术共识性的评价,即综合几个评审人的意见,最终给出结论。这对具有颠覆性的、从0到1的创新是不利的。
既然是颠覆性的,还能形成共识吗?现在大家也在探索,对这种项目该以什么方式去评审。
4. 在评审项目时,除了要看项目本身的重要性外,还要看它有没有可能做成、价值怎么样,要检查可行性。
这与期刊评审不同,论文是经过可以形成完备论证链的理论、实验、计算工作所取得的成果。
但研究项目在提出时并不一定能保证成功,是某人提议去做这么个项目,即使最后做不成,也不完全是申请人的责任。毕竟科学探索不一定都是成功的,如果要追求一定成功,那可能就不会有大的创造。
而评奖更加滞后一些,所以更注重应用价值、突破和进步的程度、别人对其评价和引用、相应问题知识产权的占有情况。
比如科技进步奖,就要看经济效益和社会效益。曾经有诺贝尔奖评奖委员会的评委告诉我,诺贝尔奖最注重两点:是否是“开门之作”,有没有持续的影响力。
Q2: 期刊为了提高透明度和可信度,会公布审稿人的意见,科研项目在评审之后会公布评审人信息,同时给单向的评审意见。
您认为除了目前这些措施外,还可以从哪些方面提高整个评审程序的透明度?
杨卫:
透明度目前还是一个有一定争议的议题,得特别谨慎地加以处理。
评审人和申请人的角色经常互换,并不是固定的。评审的意见一般要求非常具体,要让在申请人拿到意见之后,无论赞同与否都有收获。
这个意见要隐去所有能揭示自己身份的信息,对国家自然科学基金来讲,在函评时,谁审得谁,是基金委的核心机密,任何一个工作人员如果透露出这个信息,就不再适宜在基金委工作。
我曾担任国家自然科学基金委主任,也不知道是谁审了谁,系统里这块内容对我是封闭的。
只有具体操作的人才知道,他们的操作,也必然留下痕迹。所以一旦泄露,很容易追踪到这个人。这才能保证大家对国家自然科学基金的信任感,不至于出现专家之间的猜疑和人身报复。这一体系在绝大多数情况下也是被认可的。
毕竟目前来看,中国还是比较讲人情的,如果你要把审稿人公布给申请人,还要求提出尖锐的意见,大部分人就拒绝审稿了。即使不拒绝,其意见也会含混不清、模棱两可。
期刊也是这样,大多数期刊也不会把审稿人告诉给作者。以我所在的期刊来说,如果审稿人的名字被泄露给作者,就算是一个事故。
Q3: 匿名评审是为了保护同行评议的信任感,但评审委员会内部如何决定谁审谁?怎么避免人为的偏见呢?
杨卫:
我刚才讲到,我们的基金评审是学术共识性的。一般的程序是,先把所有的申请按照关键词进行分类,分成若干个包,每个包可能有十几份申请,会发送给同一拨专家。
在评审专家看到申请人名字和申请课题后,他们依照原有的认知,对申请人形成一个排序,这是预判断。
在对申请书进行比较、分析之后,他们可能会调整预判断,形成个人最终的次序判断。最后,对这一组的评审人意见进行汇总,形成最终的意见。
Q4:您对青年科研人员有哪些建议?在申请基金时有什么需要注意的?
杨卫:
自然科学基金委原来的规矩是,项目主管不许给别人讲怎么能申请到基金。我不做主任有两三年时间了,但现在我不能主动去详细讲述这件事。
在我当校长的时候,年年都给老师们讲,怎么才能申请到基金。现在我只能给大家讲,在我当国家自然科学基金委主任以前,给年轻老师的提议。
1. 项目背景要能够让大同行明确理解。
有些年轻的申请人以为,自己写的东西别人都应该知道,但其实很多时候别人并不知道,隔行如隔山。缺了解释性的一两句话,中间的逻辑就会断裂。因此,要照顾到大同行的理解程度。
2. 研究内容、技术路线、创新点等要适度聚焦,但在难点上要一线贯通。
你的项目可能涉及很多个方面,但并不需要面面俱到,不然大家看的也很疲惫。而要把最难实现的路径、别人认为最不可行的问题讲清楚,包括技术细节等。
这样评审人会觉得,最难的东西你都讲清楚了,其他的问题也不大。
这和写论文不一样,写论文要把所有的步骤、方法都讲明白,但是项目要求内容聚焦,要论证其执行路径的可行性。
3. 不能省略同行的工作。
有人在进行阐述时,忘了提自己同行的工作。但评审人很有可能就是你没提到的某个同行,或者是他们的学生、同事等。别人做过的工作,绝不能只字不提,尤其是国内同行的相关工作,要写清楚。
4. 写自己的研究经历及成果时,突出重点。
不需要一一罗列,写几十页,只需要把自己最重要的和与研究问题最相关的工作写清楚。
5. 思考如何才能令人眼前一亮。
刚才我讲到,最初申请书是由人工智能系统检索打包的,将相似主题的申请发送给给同一拨人。
这时你要想:在这十几份申请书里,我的课题申请凭什么能打动评审人?一般的中标率是20%左右,15份申请里的前3名有可能中标。大家要思考如何才能成为前3名,令人眼前一亮。
不同的学科习惯不一样, 可能要求把故事讲好,而工程类的呢,要保证写得实实在在、精确到位。
上述意见仅供参考。
Q5: 青年科研人员也逐渐参与到各项评审工作中,通过经验积累来提升自己的评审能力,但目前市面上很少有专门的课程指导大家如何去做同行评议。
在这方面,项目评审是否有同样的挑战?如何成为优秀的评审人?
杨卫:
国家自然科学基金委有一个专家库,里面大概有十几、二十万个专家。在项目主管指定评审人的时候,根据项目主题和内容,可以看到相关专家在关联度上的降序排序。
项目主管可以选择系统筛选出专家,也可以根据自己的知识,指定其他更合适的专家,他的选择也会被带到机器学习中,相应做出调整。
这个系统的信息一般是从科研人员的网站搜过来的,因此建设个人网站很重要。如果网站信息显示你曾经研究过某一类的问题,就有可能请你来评审。
你给的分数等级普遍比大家高或低都没问题,但如果总是跟大家的平均结果缺乏相关性的话,你在系统中的优先级就会下降。比如多次出现这种情况,其他人一般给B,你给了D,其他人给C,你给了A。
再有,基金委给大家规定了评审时间,你最好及时审回提交,项目主任一般比较喜欢审的及时、意见具体准确的人。基金委很自豪的是其邀请审查基金的审回率在90%以上,比所有的期刊都要高,期刊的评审人有一半能审回就不错了。
Q6: 如何调动审稿人的积极性?有哪些激励措施?
杨卫:
首先,跟期刊审稿一样,评审一次基金项目,就能了解到某一个问题。而且项目书所覆盖的面往往比论文更宽,审完后对大家做什么题目,同行中比较重要的团队做些什么都有了解,这对学术生涯有正面作用。
第二,评审费在2年前就增涨了,而且涨幅很大。审一包项目书,肯定比你干一天活挣的工资要多。
同时,心理上来说,这也是为学界服务,是在做贡献。
Q7: 您提到,我们目前的评审制度是学术共识性的评审,对颠覆性的、创新性较强的项目有局限性,但目前中国正从科研大国到科研强国转变,越来越强调科研原创性,如何改变这种局限性?
杨卫:
基金委最近出了一个对待“从0到1”研究项目的特殊评审办法,更多地强调申请人和基金项目主管的交互。
申请人最开始写的项目书可以很简单,然后被拿去预审。只要其中有一处明显的创新点,就可以让申请人围绕这一点,重新写一个比较详细的项目书。
这是一个迭代过程,希望能最终迭代出最能突出创新性的版本。在项目进行过程中,也会分阶段进行评估,根据评估结果决定资助金额。
特别声明:本文转载仅仅是出于传播信息的需要,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,须保留本网站注明的“来源”,并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,请与我们接洽。