大脑植入物首次帮助一个无法清楚表达的双语者用两种语言进行交流。与大脑植入物相连的人工智能系统能够实时解码他试图用西班牙语或英语说的话。
5月20日发表于《自然-生物医学工程》的这项研究成果，为人们了解大脑如何处理语言提供了见解，并有朝一日研发出能够让无法口头交流的人恢复多语种语言的长效设备。
医学影像显示说话时的大脑活动（人工着色）。图片来源：Zephyr/SPL
“这项新研究对语言恢复神经假体这一新兴领域作出了重要贡献。”没有参与该研究的美国加州大学戴维斯分校神经科学家Sergey Stavisky说，尽管这项研究只有一名参与者，还有更多工作要做，但“有充分的理由认为，当与其他最新进展相结合时，这种策略未来会以更高的准确性发挥作用”。
参与者名为Pancho，20岁时中风致使大部分身体瘫痪。他可以呻吟和咕哝，但说不清楚。在Pancho 30多岁时，美国加州大学旧金山分校神经外科医生Edward Chang与他合作，研究中风对大脑的持久影响。
在2012年发表的一项开创性研究中，Chang团队通过手术将电极植入Pancho的大脑皮层中，以记录神经活动，并将其转换成屏幕上的文字。
Pancho的第一句话“我的家人在外面”被翻译成了英语。但Pancho的母语其实是西班牙语，直到中风后才学会了英语，西班牙语仍然能唤起他的熟悉感和归属感。
Chang说：“一个人说什么语言实际上与他们的身份密切相关。因此，我们的长期目标从来不只是取代文字，而是恢复人们之间的联系。”
为了实现这一目标，该团队开发了一个人工智能系统破译Pancho的双语语言。他拼单词的努力创造了一种独特的神经模式，并被电极记录下来。Chang的博士生Alexander Silva在Pancho试图说出近200个单词时对人工智能系统进行训练。
然后，研究人员将人工智能系统——包括一个西班牙语模块和一个英语模块，应用于Pancho试图大声说出的短语。对于短语中的第一个单词，西班牙语模块选择最符合神经模式的西班牙语单词。英语模块也是如此。
例如，英语模块可能选择“she”作为短语中最可能出现的第一个单词，并评估其正确概率为70%。而西班牙语模块可能选择“estar”，并评估其正确概率为40%。
两个模块都试图构建一个短语。它们选择第二个单词不仅基于神经模式的匹配，还根据其是否可能跟随第一个单词。因此，“我是”比“我不是”的概率得分更高。最终输出产生两个句子——一个是英语、一个是西班牙语，但Pancho面对的屏幕上只显示总概率得分最高的版本。
这些模块能够根据第一个单词区分英语和西班牙语，准确率为88%，同时解码正确句子的准确率为75%。Pancho最终可以与研究人员进行坦诚的、没有剧本的对话。Silva说：“在我们第一次说出这些句子后，有几分钟我们只是微笑。”
这项研究揭示了大脑中语言处理一些意想不到的方面。之前一些使用非侵入性工具的实验表明，不同的语言会激活大脑的不同区域。但研究人员对大脑皮层直接记录的信号进行检查后发现，西班牙语和英语的许多活动实际上来自同一区域。
此外，Pancho的神经反应似乎与那些在双语环境中长大的儿童没有太大区别，尽管他在30多岁时开始学习英语。这同样与之前的研究结果形成了对比。（来源：中国科学报 王方）
相关论文信息：https://doi.org/10.1038/s41551-024-01207-5
