图片来源：MIKE AGLIOLO/SCIENCE SOURCE

哲学家Nick Bostrom认为人工智能完全有可能导致人类灭绝。在他2014年的畅销书《超级智慧：路径、危险和战略》中，Bostrom描绘了一个黑暗的场景：研究人员创造出一种能不断自我提升的机器。

在某种程度上，这种机器学会了从网上交易中赚取金钱，并开始在现实世界中购买商品和服务。通过邮购DNA，它建立了简单的纳米系统，进而创造出更复杂的系统，并获得更大的力量改造世界。

存在风险

英国牛津大学的Bostrom写道：现在该人工智能怀疑人类能会干扰其计划，于是决定建造小型武器并秘密地散布在世界各地。在预先设定的时间内，纳米工厂会生产出拥有神经毒素和寻找目标功能的蚊子状机器人，而后这些机器人会在地球的每一个角落“生根发芽”。

而且，Bostrom和其他一些科学家、哲学家认为这种情况不只出现在科幻小说中。他们在不断研究哪些技术进步可能存在毁灭人类或者至少摧毁现在人类所知道的文明的风险，以及可以采取什么措施阻止。“我们正试图阻止那些可能威胁人类生存的物种。”剑桥大学生存风险研究中心（CSER）哲学家Huw Price说。

实际上，科学会消灭人类的观点可以追溯到《科学怪人》。在Mary Shelley的小说中，怪物因被创造者Victor Frankenstein抛弃而愤怒地将Frankenstein的弟弟William杀害，而后两者达成了一个协议：Frankenstein要为怪物创造一个伴侣，怪物会带着伴侣去南美洲，从此互不往来。然而当Frankenstein开始为怪物创造伴侣时，突然意识到这对怪物可能会繁殖后代并且超越人类。

“一个像恶魔的种族将会在地球上繁衍，这会使人类的境况变得岌岌可危而且充满恐怖。”于是Frankenstein摧毁了未完工的雌性怪物，这让雄性怪物怒火重烧，也给自己招来杀身之祸。

美国麻省理工学院物理学家、CSER董事会成员Max Tegmark说：“我认为这个故事很好地说明了科学可能会消灭人类这一观点，人类逐渐发展出越来越强大的技术，技术越强大，人类就越要小心，这样我们才不会搞砸。”

小众研究

风险研究仍然是一个很小的领域，也并不是每个人都相信这是一门严肃的学科。在英国爱丁堡Innogen研究所研究 监管问题的Joyce Tait指出，大多数人类文明终结的剧情包含着人类制造的病原体、机器人，有些甚至认为人类的世界是一个可能会被关闭的模拟世界，但是这些都是不可能的。“真正的威胁只有一个，那就是全球核战争。否则，不会有什么危险。”Tait说。

但哈佛大学心理学家Steven Pinker称，存在风险理论是“无用的范畴”，并且强调“Frankenstein幻想”可能混淆真实的、可解决的威胁，如气候变化和核战争。他在书中写道：激起对假设灾难的恐惧，远远不能保护人类的未来，这样可能会危及人类的未来。

另一方面，支持者预测，随着科技进步的加速，这一领域只会变得更加重要。Bostrom在一篇论文中指出，关于蜣螂或星际迷航的研究要比人类灭绝风险研究多得多。也许，另一颗跟结束了恐龙统治的行星一样大小的星球可能会袭击地球；一场火山灾难可能会使天空常年变暗，使人类无法生存。

但是，科学进步带来的风险实际上是虚构的，直到1945年7月16日，第一颗原子弹被引爆。根据粗略计算，物理学家Edward Teller得出结论，爆炸可能会引发全球的连锁反应，“点燃”大气层。Bostrom写道：“尽管现在知道这样的结果在物理学上是不可能的发生的，但它的确是一种存在于当时的风险。”

Bostrom还提到，在本世纪，人们将引入各种各样全新的东西，赋予人类新的力量重塑世界。生物技术比核技术更便宜，也更容易处理，纳米技术也飞速发展。在2011年在哥本哈根举行的一次会议上，爱沙尼亚电脑程序员、Skype的共同开发人员Jaan Tallinn认真地告诉Price，他对人工智能有种深深的恐惧。

而后Price把Tallinn介绍给了天文学家、英国皇家学会前主席Martin Rees。Rees早就警告说：随着科学的进步，毁灭人类文明的力量越来越向个人集中。于是这三人决定创办CSER，这是继牛津大学人类未来研究所之后，第二个这样的研究中心。Price表示，CSER这个名字的意义是“将风险观点推向主流。我们意识到，人们认为这些问题有点古怪。

CSER招募了一些知名的支持者：科学顾问委员会成员包括物理学家Stephen Hawking、哈佛大学生物学家George Church、全球健康领袖Peter Piot，以及科技企业家Elon Musk。CSER的大部分资金来自于基金会和个人。Tallinn也承认到目前为止，CSER的学术成果是“短暂的”。但他表示，该中心被设立为“存在风险研究训练基地”，就是“感染”来自其他地方的学者。

真正的毁灭

世界上大部分人口死亡的危机更有可能是一场彻底的灭亡。大规模地破坏电网和其他服务，或者释放致命的病原体，会造成混乱，推翻政府，人类也会被推向一个恶性循环。“人们最终只会有中世纪的文化水平，或许这就是人类的结局。”Church说。

存在风险也许是最容易想象的。病原体已经被证明能够杀死整个物种，比如受真菌壶菌迫害的青蛙。在过去1个世纪里，4次大流感席卷了整个世界，其中一种病菌在1918年和1919年造成了5000万人死亡。

现在，研究人员已经在工程上制造了病原体，在原则上这可能会变得更加危险。直到去年年底，由于担心研究会导致H5N1禽流感病毒更容易在哺乳动物之间传播，美国才停止了这类研究。另外，恐怖分子或无赖国家也可以使用实验室制剂作为武器，或通过释放被改造过的鼠疫制造意外。

Rees曾公开表示，到2020年，生物恐怖或生物错误将导致100万人在单一事件中伤亡。哈佛大学微生物学家Marc Lipsitch也表示，在一个实验室里，可能导致流感病毒偶然大流行的意外发生的可能性在千分之一到万分之一间。

Bostrom则表示，病毒不太可能杀死每个人，真正存在威胁的是人工智能。大多数情节是机器战胜了人类，这样的机器被称为“超级智能”。如果这样的人工智被创造出来，并且获得了自己的意志，它可能会变成恶意的，并试图毁灭人类。

然而大多数人工智能专家担心的不是机器崛起会颠覆他们的创造者，而是他们一开始就犯了一个致命的错误。人工智能终结人类的最合理的方式是：它们一味地追求自己的目标，并且在此过程中，毫无顾忌地创造了一个对人类致命的环境。“设想把环境温度升高100°或降低100°的情况出现，那么人类必将在几分钟内灭绝。”Tallinn说。

也有批评人士认为，这些努力不太可能有用，因为未来的威胁是不可预测的。而且，即使预见到了风险，经济、政治和社会环境都会影响它的发展。Tait说：“除非你不仅知道将要发生什么，而且知道它将如何发生，否则这类信息在处理这件事上没有多大用处。”

不过，安全总比后悔好。2017年的一项调查显示34%的人工智能专家认为与工作相关的风险是一个重要问题。无路如何，科学家有义务参与其中，因为现在面临的风险不同于以往任何一个世界所面临的风险。

每当新技术出现时，人类都在等待，直到新技术的风险显现出来，人类才学会控制它。大火杀死了人们，摧毁了城市，所以人类发明了灭火器和阻燃剂。汽车带来了交通死亡——而后有了安全带和安全气囊。“人类的策略是从错误中学习。但当世界危在旦夕的时候，这是一个糟糕的策略。”Tegmark说。（张章编译）