别让“码农”再当无名英雄

美网站尝试跟踪计算机编码影响力鼓励软件创新

这种文化造成了一种印象，制作编码及发表相关论文不会给研究人员带来利益。

The Project Twins制图

Klaus Schliep是美国波士顿马萨诸塞大学的一名进化生物学博士后，他的谷歌学术网页上列举了其作为作者发表的文章，包括他引用率最高的一篇文章，该文章描述了一种叫作“phangorn”的系统发生学软件，但却并未提及他在该软件中作出的贡献。“和写作论文相比，编码被认为是科学领域的‘二等工作’。”Schliep说。

现在Depsy来了，这是一家在2015年11月成立的自由网站，其目的是“评估推动科学发展的软件的价值”。

Schliep在该网站上的简历表明，他对7个软件包有贡献，并且对“phangorn”软件拥有34%的荣誉贡献。这些包裹总体下载次数超过2600次，曾被89篇开放获取的研究论文引用，并且其他软件也曾多次利用过这些软件包，这使Schliep在该网站所有编码员的影响力排名中位居第99百分位。

Depsy的创始人希望这个平台可以提供一种透明、有意义的渠道，用来跟踪学术界研发的软件的影响力。该平台背后利用的技术是由加拿大温哥华一家非盈利企业“影响力故事”研发的，该技术始于4年前，旨在帮助科学家跟踪其在线成果的影响力。其跟踪对象不仅包括文章，还有博客、数据集以及软件等，并通过诸如推特网转载量、查阅量、下载量、代码再利用以及日常引用量等不同指标进行影响力评估。

实际上，Depsy已经意识到了科学软件背后隐藏的“无名英雄”，“影响力故事”创始人Jason Priem说，该机构由美国国家科学基金会和各种慈善机构资助。

当前，迫切需要这样的工具，英国爱丁堡软件可持续性研究所创始人Neil Chue Hong强调说，现在的年轻科研人员对编码拥有热情，但目前根据软件对科研人员进行评价的渠道却寥寥无几。去年，他对1000名随机选择的英国科学家进行了调查，结果表明超过50%的研究人员会自己动手制作编码。尽管如此，在英国最新研究质量审计中，很少有科学机构把编码或软件纳入科研人员的研究成果。即便在严重依赖软件的计算机科学领域，情况也是如此。“这种文化造成了一种印象，制作编码及发表相关论文不会给研究人员带来利益。”Hong说。

跟踪软件使用

跟踪学术影响力的常规方式是统计引用量，这和软件有一些关联。研究人员可以写文章描述他们的软件，就像Schliep在phangorn软件包上所做的那样，因为任何使用该程序的人都会在随后的文章中引用他的成果。但统计引用量作为一种评估标准却存在缺陷。研究人员可能并不知道会引用哪篇论文，Priem争论说，因为一个软件包经常与多篇文章相关联，而一些重要的软件项目，比如GDAL Python图书馆项目，和规范化论文并无关联。

如果软件没有相关联的文章就没有普遍认可的引用它的方式。现在，编码员在其编码以及数据集上分配数字对象标识符（DOIs）非常普遍，德国汉诺威市在线数据库——数据引用技术主任Martin Fenner强调说。软件一开始经常被储备在常用的编码储存库GitHub中，在那里可以通过Zenodo或Figshare等集中学术数据库自动归档，它们把DOIs分配给软件，从而使其成为可以引用的对象。其他做法也在试图保证让研究论文在引用软件时可以有标准的方法，比如通过使用研究资源标识符等。

但是通过统计软件DOIs和文章的引用量，或是通过其他标准方式，并不能揭示编码者对科学的影响力，因为很多软件经常不会被引用。2015年对90篇随机挑选的生物学论文进行研究后发现，有2/3的论文非正式地提到使用了软件，但是其中引用相关软件包的文章实际上不足一半。

Depsy搜索了研究论文，以此寻找引用以及非正式提及软件使用的情况，结果不出意料地发现，在文章致谢部分或是在学术论文的主体部分，提到使用了很多软件。但是Priem承认，该网站也有局限性，即目前它只能搜索开放论文，错过了大量的付费阅读学术论文。然而，“影响力故事”计划和出版商谈判，以便获取许可，可以挖掘付费论文文献中的软件使用情况。

Priem表示，在论文中提名只是Depsy网站跟踪软件影响力的3种方法之一。该网站的第二种方法是，跟踪编码如何被其他人再次利用。Depsy的名字来源于“相关性网络”，是一个表示各种因素相互依存的词汇。Depsy通过谷歌的PageRank算法，计算了编码的重新利用率，从而可以评价出哪些编码更加出色。从监测影响力的角度看，编码的重新利用可能比其在文献中的引用率更有意义，Priem说。

该网站的第三种方法是，通过梳理CRAN和PyPI（以普遍使用的R和Python编程语言编写的软件的两大储存库），收集编码包裹的下载量数据信息。

聚焦科学研究

其他的网站也会提供一部分Depsy可以提供的服务。例如，Crantastic是一个评论网站，它可以跟踪最受欢迎的R软件包裹；PyPI排行榜通过跟踪该网站的软件下载量，排列了最受欢迎的Python模块。此外，一些商业服务网站，如VersionEye和Libraries.io可以跟踪相关性网络，解释哪些软件依存于其他哪些软件包。

但与众不同的是，Depsy平台可以通过识别关键词、文本描述以及软件名称，聚焦研究类软件。尽管分类过程现在仍存在缺点，Priem说。该平台也会跟踪其他编码，但是在计算百分位影响学术排名时，它只包括研究型软件。

Depsy会通过统计一个软件包中参与者的贡献或编辑（即个人贡献）所占的百分比，向其分配零散的信誉度。每项贡献的足迹都会保存在编码中，使其很容易跟踪到软件包发起人。但是并非每次编辑都会得到同样的影响力，目前，Depsy仍不能区分重要贡献者和贡献较少的人。未来仍然需要对它进一步改善，从而可以跟踪个人贡献的影响力，Priem说。

Depsy还让用户决定在具体学科领域拥有最高影响力的软件。例如，在该平台搜索“天文物理学”，会出现11个软件包，其中一个叫作“yt”的天文物理学分析与视觉模拟软件拥有最高的影响力，在所有软件包中，它处于第97个百分位。

发展中的障碍

Hong指出，Depsy的一个限制因素是它只能跟踪公共论文库中的编码，因此不能展示商业软件的影响力。此外，该网站仅仅跟踪R和Python等两种编程语言制作的软件。

但是Depsy的创建人最终希望可以把其他编程语言也包括在内，并且增加评估软件包影响力的第4种方法：把社会影响力标准纳入考量，比如软件包从其他GitHub用户那里得到多少颗星，以及一个软件被在线讨论了多少次等。

该网站的编码再利用标准也有其他不足之处。研究人员经常会再次利用他们自己的代码，就像研究论文作者“自引”一样，如此一来，Depsy可能会被重复“愚弄”，从而让原创者得到更高的分数。Fenner警告说，一些研究人员还可能通过另一种方式愚弄该网站，即启动许多软件项目，但是都不去完成它们，而是等着别人来改进与完成；而在软件成功后，该项目发起人可能会揽获荣誉。

“我倒是希望看见人们试图‘戏弄’Depsy，因为这意味着他们对软件再利用足够重视。”Priem说。

最终，证明代码影响力的透明标准可能会让软件研发者在资金评估时获得更多资助，这是Hong的希望。他表示，科学领域的“码农”应该拥有更多资助和支持，但是做到这一点需要改变现有文化，需要科学研究领域的每个人参与进来。“最大的讽刺是，如果不对制作这些软件的人作出鼓励，我们实际上是在给科学发展设置障碍。”Hong说。（红枫）