|
|
| 自然科学基金同行评议结果评价方法与专家遴选因素分析 |
|
日前，《中国科学基金》杂志刊发了国家自然科学基金委员会工程与材料科学部王国彪、彭芳瑜的文章《国家自然科学基金同行评议结果评价方法与专家遴选因素分析》。文章通过定义三个定量评价指标（项目熟悉度、项目资助度、项目综合评价指标偏差），以同行评议专家的职称、学位、年龄、当年是否申报项目作为主要影响因素，以2008年度机械学科基金项目的数据为样本，定量分析了影响因素对评价指标的影响度，以期建立同行评议结果的评价方法和专家遴选的基本原则，为科学基金资助管理绩效评估提供参考。
文章首先对同行评议专家评议结果的评价指标进行了分析。为反映同行评议专家评议结果的可信度、公正性、以及有效性，文章对应定义三个定量评价指标，即项目熟悉度、项目资助度、项目综合评价指标偏差，以便定量计算与分析同行评议专家的评议结果。例如，2008年度机械学科共遴选了1194位同行评议专家，指派评议项目11405份，按期返回11247份评议结果。其中，对评议项目“熟悉”的有5993份，“较熟悉”的有4462份，“不熟悉”的有792份，可得，平均熟悉率为53.5%，平均较熟悉率为39.7%，平均不熟悉率为7.0%；对评议项目给出“优先资助”的有1421份，“可资助”的有3525份，“不予资助”的有6301份，可得，平均优先资助率为12.6%，平均可资助率为31.3%.，平均不予资助率为56.0%；可以计算平均评价值偏差为0.523。
文章又对同行评议专家的分布状况及其对评价指标的影响进行了分析。
在2008年度机械学科遴选的1194位同行评议专家中，正高职称871人，占72.9%.，副高职称316人，占26.5%，中级及其他职称7人，占0.6%。正高职称的平均熟悉率为55.5%，平均较熟悉率为38.4%，副高职称的平均熟悉率为47.1%，平均较熟悉率为43.1%，两项合计比正高职称的低3.7%。正高职称的平均优先资助率较高，为13.5%，副高职称的则较低，为10.3%；副高职称的平均不予资助率较高，为57.9%，正高职称的较低，为55.4%。正高职称的平均综合评价指标偏差较高，为0.533，副高职称的则较低，为0.496。由此可知，正高职称同行评议专家评议结果的可信度相对较高，对项目的资助度相对较松。而同行评议专家的职称对评议结果的有效性影响不大。
2008年度机械学科同行评议专家以博士为主，共1041人，占87.2%，硕士87人，占7.3%，学士及其他66人，占5.5%，后两者合并一起，暂称为其他学位。博士学位的平均熟悉率为53.7%，平均较熟悉率为39.3%，合计为93.0%，仅比其他学位的高0.6%，说明学位对项目的平均熟悉程度影响不太；博士学位的平均优先资助率为12.3%，其他学位的则为15.3%，相差3%；博士学位的平均不予资助率为56.6%，其他学位的则为52.0%，相差4.5%。博士学位的平均综合评价指标偏差为0.521，其他学位的则较高，为0.541，相差不大。由此可知，具有博士学位的同行评议专家对项目的资助度相对较紧，而学位对项目评议结果的可信度和有效性均影响不大。
同时，文章通过分析2008年度机械学科同行评议专家的年龄分布及其对评价指标的影响，得出，同行评议专家的年龄对评议结果评价指标的影响相对都较大。同行评议专家所处的年龄段不同，对项目的熟悉度、资助度以及综合评价指标偏差都呈现较强的波动性。
另外，同行评议专家当年是否申报项目对评价指标也有一定影响。当年申报项目但申请代码与被评议项目代码不同的同行评议专家，在对项目的熟悉度、平均综合评价指标偏差等指标上都较差。因此，为保证评议结果的合理性，要求尽可能选择小同行专家（即专家库中专家的学科代码与被评议项目的申请代码相一致）。
文章最后分析了同行评议专家遴选因素对评价指标敏感度。以平均不熟悉率为例，在本文考虑的4个因素中，年龄对平均不熟悉率的波动值最大，为111.13%，故年龄对平均不熟悉率的敏感度为4，学位对平均不熟悉率的波动值最小，为7.79%，故学位对平均不熟悉率的敏感度为1。同理，当年是否申报项目、职称的敏感度分别为3、2。依此类推，可以得到各影响因素对各评价指标的敏感度。由此可知，年龄对评价指标的敏感度影响最大。
以2008年度机械学科同行评议专家遴选情况为例，文章得出结论：
（1）同行评议专家的年龄对所评议项目的熟悉度影响最大，年龄小于35岁的和年龄大于70岁的对所评议的项目的不熟悉程度相对较高，其次是同行评议专家当年是否申报项目，主要是当年申报项目但代码与所评议项目的申请代码不同的专家对所评议项目的不熟悉程度较大。
（2）同行评议专家对所评议项目资助意见的资助度而言，专家的年龄对这个指标影响最大，年龄大于45岁的优先资助率相对较高；其次是同行评议专家当年是否申报项目，没有申报项目的同行评议专家的优先资助率较高，而当年申报了项目的优先资助率则相对较低。
（3）同行评议专家对所评议项目评价的有效性而言，同行评议专家的年龄对这个指标影响最大，具体表现为年龄超过66岁的同行评议专家对项目评价的有效性较低；其次是职称的影响。
可以看出，年龄对评议结果各个指标的敏感度都为4，说明普遍影响较大，其次是当年是否申报项目和职称，而学位的影响普遍较小。也即同行评议专家的年龄、当年是否申报项目对评议结果的可信度、公正性、以及有效性有较大影响。
