人员推荐如何解众测之“痛”

众测在这个移动互联的时代已经不是什么新鲜事物，它的出现，就是为了解决传统测试领域场景局限大、人力成本高、质量提升难等诸多弊端。也因此，有越来越多的众测平台来争夺这一不断增长的市场。

然而，作为一种新兴的业态，它虽优势显著，却也不是万能的“灵药”，尤其是众测的支撑方法、技术和服务模式还远远不够成熟。

为此，去年7月，国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“信息产品及科技服务集成化众测服务平台研发与应用”正式启动。

最近，牵头这一重点专项的中国科学院软件研究所（以下简称软件所）在众测人员推荐研究中率先取得了进展，该成果还获得了第42届软件工程国际会议杰出论文奖。

基于群体智能的众测

从基于群体开发的开源软件，到基于众包众享的共享经济，随着互联网时代的到来，企业正在适应一种新的经济生态环境。如何利用社会闲散资源、协同创造产生更多价值，是一个重要的研究课题。

测试一直是产品开发生命周期中非常重要的一环，特别是层出不穷的互联网产品，迭代更新越来越快，如何多快好省地进行测试，更好地提升用户体验，是一个急需解决的问题。

众测，是一种依托互联网技术衍生的全新测试服务业态，它通过众包的分发形式，根据应用类型、用户群类别或者业务功能等测试需求，找到符合条件的测试者。测试者可以以真实用户的身份在特定场景中使用产品，向平台反馈产品漏洞等各种问题。

在软件所研究员、互联网软件技术实验室主任王青看来，众测变革了传统的测试服务模式，利用共享经济的特征，采用分布、协作的方式组织生产，协同测试需求和测试资源，聚合形成规模效益。

自2008年起全球第一家众测公司问世，众测平台的发展在发达国家已经超过10年，发展空间非常广阔。

“从传统测试来看，根本问题是做多少测试才算合适？”王青坦言，测试越充分，发现的缺陷就越多。但每一项测试都有成本，测试边界的覆盖是一件非常困难的事情。如何以最小的成本去获得最大的效益常常会困扰企业。

她提到，传统测试的另一个局限在于，测试场景的多样性问题。实验室测试有测试用例、有预设的测试设备、测试环境，开放性不足。

但众测恰恰可以突破封闭式环境下由有限的测试人员和工具进行测试的局限，有效提供不同测试环境，大幅提高测试人员的数量和效率，节约环境搭建的时间和费用成本。

“此外，跟其他众包服务不同的是，众测的结果是众测工人完成的任务集合。这正是它的独特之处——基于群体智能来提高测试效率。”王青表示。

在一项基于社会心理学的协作式众包测试效率研究中，科研人员发现，在不考虑已发现缺陷的有效性的前提下，众测工人通过协作方式发现缺陷问题的数明显多于独立测试情况所发现的缺陷数。而且，随着时间推移，两个实验组找到缺陷数量的差距也会增大。这也意味着，协作式众包工作机制能够实现很好的支撑众包工人之间的有效地增效性的协作，提高了众测效率与质量。

众测服务的“痛点”

目前，众测服务已经覆盖互联网、软件业、金融业、通信业、汽车工业、医疗业等众多行业领域。

“但作为一种新的业态，众测的支撑方法、技术和服务模式并不成熟，特别是存在资源不协同、过程不可控、想测不敢测、需测不能测、能测不可信等‘痛点’问题。”王青直言。

去年7月，国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“信息产品及科技服务集成化众测服务平台研发与应用”正式启动，聚焦的是“群智驱动的众测服务业务协同、资源融合与质量提升的共性理论和运营机理”。

该项目有望解决众测领域的一系列重大科学问题。王青介绍，首先是服务模式的问题。探讨如何构建可以引导和促进测试领域人员、设备、机构协作融合、共享共赢的众测服务模式。

接下来是协同服务机制的研究。在众测松散的组织模式下，协同格外重要，它包括了人人协同、人与任务的协同、人机协同、结果协同等。

王青解释，当前众测平台选择测试人员的方式大多是自发选择测试项目，它面临的一个重要问题是测试人员是否适合本次招募任务。虽然众测通过招募的方式可以在短时间内获取到大量的众测人员，但他们不见得就覆盖到了所有的测试要求和测试资源。需要通过测试人员的遴选及匹配方式的专业化、智能化，从而达到人与任务之间的协同。

经过王青团队的调研，他们发现现有的许多测试机构资源的闲置率很高，这些机构有测试资源，但缺乏测试工人，而社会上很多有能力又有闲的人，没资源，没有测试设备。因此，亟需通过一些虚拟化的手段，在人和设备之间做好协同。

结果之间的协同也叫结果融合。她指出，测试工人的能力不齐，测试报告质量也就参差不齐，还有的可能是重复报告，如何对测试结果进行整合，去除重复信息、垃圾信息，高质量的完成报告，是众测的生存之本。

她还提醒，从测试结果、测试行为、测试主体三个维度研究众测服务的评估、评价技术和标准，是不可忽视的一个方向。“只测不评，是当下很多测试平台的通病。当它们直接把测试结果交给客户时，客户通常还需要有一个专家团队来对测试结果做评价，这是一笔很大的成本。”

据悉，“信息产品及科技服务集成化众测服务平台研发与应用”重点项目最终会在这些研究基础上，形成标准驱动与检测认证相结合的第三方在线众测服务平台。

“掌控”了人等于“掌控”了众测

说到众测领域最核心的资源，非人莫属，因为众测质量的好坏很大程度上和招募到的测试工人有关。所以，众测最重要的是把控好测试工人。但目前，众测面临的一个棘手问题就是无法做到对测试工人进行有效的监控。

互联网软件技术实验室团队的这项最新研究成果瞄准的正是这一“痛点”。

在传统认知里，关于测试人员的推荐，主要根据报名人员的资质或历史数据来对人员进行筛选，找到合适本项目的人，并在这一约束条件下，达到成本最低。现在很多测试平台对人员的把控也就基本止步于此了。

“这是因为，传统测试不看重过程。”软件所副研究员、论文第一作者王俊杰解释，但在众测的场景下，测试任务是多轮迭代进行的，而且，众测的本质是规模经济，在开放环境下需要不断有新人加入，除了确保测试的多样性，也使得更多测试工人能够获得快速成长。因此，过程监控非常重要，必须进行动态优化。

如今，大数据与人工智能技术的不断发展可以为众测人员推荐的新方法提供底层的技术支持。

王俊杰表示，团队通过对测试工人历史表现的感知建立模型，从而捕获任务的进展状态和人员属性信息，比如测试的充分性、人员效能的发挥、群体协作的情况等等，并基于排序学习得到测试工人发现缺陷的概率，同时还能对他们未来的表现进行预测。

“正是基于这种动态变化，实时地进行测试人员推荐和更替，才能使得整个众测过程中，群体作用发挥到极致。”王俊杰说，该实验表明，使用这种人员推荐的方法能够缩短50%~58%的测试周期，并减少10%的测试成本。

这项研究改变了传统静态的、针对任务初始前后历史的推荐方式，对众测资源优化配置和群体协同具有意义，并有助于推动众测这种新型科技服务模式的广泛应用。