将一张“神奇的贴纸”放置在面部，就可以破解人脸识别门禁系统，从而轻而易举打开大门；同样是这张“贴纸”，把它放置在眼镜上，1秒就能解锁手机人脸识别，探取隐私如入无人之境。这并非科幻，而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

9月16日，以“共筑AI安全 安享智能未来”为主题的AISC首届人工智能安全大赛（以下简称大赛）落幕。这是首个全国性人工智能安全赛事，旨在推动人工智能攻防技术创新、实战演练、场景挖掘和人才培养。

和其他通用目的技术一样，AI在高歌猛进的同时，也隐藏着新的风险和隐患。联合主办方北京瑞莱智慧科技有限公司（以下简称瑞莱智慧）首席执行官田天认为，人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大，风险发生的可能性也随着其应用频次的增长而持续提高。

在同期举办的主题论坛上，与会专家们表示，重视人工智能安全体系建设，既是当务之急，也是长远考虑，需加快促进人工智能安全领域关键技术研究与攻防实践。

在田天看来，人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。

从人的视角来评估AI的安全问题，首当其冲就是技术的两面性问题，存在AI滥用甚至“武器化”的问题。具体到人工智能的应用中来看，当前最为典型的代表就是深度伪造技术，它的负向应用风险持续加剧且已产生实质危害。

而现场的人脸识别破解演示，所揭示的正是系统的风险，它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”，具有不可解释性，意味着系统存在结构性的漏洞，可能受到不可预知的风险，典型的就比如现场演示的“神奇贴纸”，其实就是“对抗样本攻击”，通过在输入数据中添加扰动，使得系统作出错误判断。

这一漏洞在自动驾驶感知系统同样存在，瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下，在识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在目标物体上添加干扰图案后，车辆的感知系统就会出错，径直撞上去。

人工智能对抗攻防包括对抗样本、神经网络后门、模型隐私问题等多方面技术。模型有错误就需要进行及时的修复，中国科学院信息安全国家重点实验室副主任陈恺提出“神经网络手术刀”的方法，通过定位引发错误的神经元，进行精准“微创”修复。陈恺表示，不同于传统的模型修复工作需要重新训练模型，或者依赖于较大量的数据样本，这种方式类似于“微创手术”，只需极少量或无需数据样本，能够大幅提升模型修复效果。

安全的本质在于对抗升级，构建安全需要一个持续攻防演进的过程。田天表示，大赛聚焦人工智能真实应用场景中的典型漏洞及风险，以赛促建、以赛促研，通过考核参赛队伍的漏洞发现、漏洞挖掘等能力，探索新型安全需求场景，推动AI攻防技术创新，为强化人工智能治理体系与安全评估能力建设提供支撑。

专家提出，从长远看，人工智能的安全问题，还需从算法模型的原理上突破，唯有持续加强基础研究，才能破解核心科学问题，同时他们强调，人工智能的未来发展需确保对整个社会、国家发展的有效性和正向促进性，需要政产学研用多方协同共进。

在人工智能的全生命周期，不仅存在算法层面的安全性问题，算力作为人工智能发展的重要基础设施，也面临着诸多风险，推动人工智能算力基础设施安全发展具有重要意义。活动期间，由国家工业信息安全发展研究中心牵头，联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》发布。

自七月开启报名以来，大赛共吸引来自全国范围内70多所高等高校、科研院所、企业机构的超过400支团队，共计600余名选手的踊跃参与。经过三个月的激烈角逐，最终，上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠，北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。