科技伦理研究的目的不是阻碍科学发展，而是为科技发展提供伦理支持与规约，使科学家、工程师研发出更安全、更人性化、更容易被社会接纳的科技产品。

■本报记者 袁一雪

当美、英、法三国将导弹投掷在叙利亚上空，鲜血与死亡、绝望与恐惧便铺洒在这片大地上。当人们在惊叹导弹精准的同时，野心勃勃的武器专家却并没有止步于此，因为他们已经将目光聚焦在自主武器上。

今年2月，韩国科学技术院（KAIST）和集束炸弹制造商韩华系统公司开设了“国防和人工智能融合研究中心”，前者表示，新的智能机器人（AI）研究中心将专注于利用人工智能命令和控制系统，对大型无人驾驶潜水器进行导航，以及利用人工智能进行智能飞行器训练，追踪和识别物体等。

这一决定引起了全世界人工智能界科学家的关注。一封由全球逾50名顶尖的人工智能研究员联合签名的公开信直指韩国科学技术院这一决定。签名的学者来自蒙特利尔大学、多伦多大学、瑞士人工智能实验室、加州大学伯克利分校、香港中文大学和南京大学等。

信中称，自主武器有可能成为恐怖分子的武器。暴君和恐怖分子可以利用它们对付无辜的人群，他们不会理会任何的道德限制。如果打开了这个潘多拉魔盒，将很难关闭。“与过去禁用其他技术，例如禁用激光致盲武器一样，我们可以简单地决定不开发自主武器。我们敦促KAIST遵循这样的共识，致力于改善人们的生活，而不是伤害人的生命。”

在公开信发布后，韩国科学技术院也即刻发表了声明，声称他们没有研发“致命自主武器系统或杀手机器人”的计划。但这并没有减少人们对于此事的关注度。

反自主武器集结号

参与签名的南京大学计算机系教授周志华在接受《中国科学报》记者采访时表示：“联名抵制的发起人是澳大利亚新南威尔士大学的Toby Walsh教授，所有参与签名的人员都是他邀请的。他按自己的原则邀请了一些国际人工智能领域有声望的学者来给韩国方面施加压力。”

与此同时，美国谷歌公司内部超过3000名谷歌员工签名要求公司退出一项美国五角大楼人工智能军事计划。

这些发生在人工智能领域的事件也引起了联合国的重视，4月9日，联合国《特定常规武器公约》政府专家小组在瑞士日内瓦召开会议，预定讨论致命自主武器系统研发，也就是常说的“杀手机器人”可能带来的影响。

其实在2015年，一封要求停止研制具有杀人功能自主武器系统的公开信得到了2万人的签名，签名者主要是人工智能领域的专家以及对此话题颇为关切的人士，其中就包括已故著名物理学家斯蒂芬·霍金。

霍金一直担忧人工智能的崛起将威胁人类，在去年举行的2017全球移动互联网大会，他通过视频表示，人工智能的威胁分短期和长期两种。短期威胁包括自动驾驶、智能性自主武器以隐私问题；长期担忧主要是人工智能系统失控带来的风险，如人工智能系统可能不听人类指挥。

自主武器

不听人类指挥，超出人类控制，这也是人工智能的“自主武器”引发业界人士普遍关注的关键点。因为其使用的“强人工智能”并非目前人们认知中普遍接受的“弱人工智能”。两者的区别在于，弱人工智能可以辅助人类，减轻智力或体力劳动；而强人工智能则是机器人达到甚至超越人类智慧水平，甚至具有意识，可以自主安排自己的活动。

目前，已经有些武器使用智能功能实现一部分辅助功能，比如带有自动瞄准装置、导弹定位系统的武器等，但这些武器的使用都需要由人来作决定，人类的思维决定向谁射击，是否需要射击。“自主武器与一般意义上的智能武器，我们联名反对的是这种脱离了最起码的人类控制的自主武器。”周志华说。

如今，“把人工智能科技应用于武器研发非常普遍，比如世界各国都对军用机器人给予了高度重视。对于智能机器人是否拥有自由意志或意识，是一个有争议的话题。对于军用智能机器人而言，关键的问题是机器人的自主程度问题。”上海交通大学科学史与科学文化研究院副教授杜严勇也在接受《中国科学报》记者采访时表示。由于军用机器人拥有强大的杀伤力，没有恐惧感，也可能对人类没有同情心。而且，在目前的技术水平下，机器人很难区分战斗人员与非战斗人员，完全自主的智能机器人在战争中不可避免地会伤及无辜，也很容易使战争规模升级。

技术进步不能抛弃伦理限制

“自主武器并不符合伦理，更不符合人类的利益。所以，目前主流人工智能学界根本没有向这个方向努力。”周志华强调。

不论是家庭服务型机器人还是自主武器都离不开“伦理”二字。“发展智能机器人，是为了提高人类的生活质量，使人们更好地享受科技的益处。

为此，机器人的行为就需要符合人类的伦理原则与规范，才能让人们更好地接受机器人。”杜严勇解释说。比如一个提醒人类吃药的机器人，当遇到提醒对象拒绝吃药时应该作何反应：是为了其身体考虑强行喂药还是提醒几次后就放弃？“如果遇到拒绝服药的对象，人们通常会期望机器人应该比人类更有耐心，采取各种合理的方式去说服人们吃药，而不是简单地放弃或强迫。也就是说，人们期望机器人的道德水平更高，在道德活动中更加积极主动，同时机器人对人类的行为应该更加宽容，这样的机器人可能更容易被人们所接受。”

简单的服药一件事就足以令智能机器人“头痛”，当智能机器人涉及到暴力、性、侵犯隐私等问题时则更难解决。为了避免智能机器人威胁人类，已故科幻作家艾萨克·阿西莫夫曾提出了以“不得危害人类”为核心的“机器人三原则”，即机器人不得伤害人类，或坐视人类受到伤害；除非违背第一法则，否则机器人必须服从人类的命令；在不违背第一及第二法则下，机器人必须保护自己。此后，阿西莫夫又添加了一条定律——第零定律：机器人不得伤害人类族群，或因不作为使人类族群受到伤害。

但是，定律不是法律。现在的机器人发展已经完全舍弃了阿西莫夫制定的三大定律，此次的联合签名抵制事件就可窥到一二。“所以，从长效性与普遍性的角度看，需要国际组织来制定人工智能科技研究的伦理守则与规范，这方面的工作已经是刻不容缓了。”杜严勇表示。

但同时，杜严勇也强调，哲学家研究科技伦理并不是要“指导”科学家的学术研究，科技伦理的研究目的不是去阻碍科学发展，而是为科技发展提供伦理支持与规约，使科学家、工程师研发出更安全、更人性化、更容易被社会接纳的科技产品。

“技术本身没有善恶。就好比菜刀本身没有善恶，在好人手里用来切菜，在坏人手里可能成为凶器。要限制的是使用技术的人，而不是技术本身。”周志华说。