“不管是运动员还是观众,只要有这个随身‘翻译官’,就可以随时随地跟其他国家的朋友无障碍沟通。”科大讯飞AI研究院副院长陈志刚拿着讯飞双屏翻译机边演示边介绍,“只要打开双屏,选择对方的语言,按住按键说话就可以了。”
话音刚落,翻译机的屏幕上,几行翻译好的英语“跳”了出来。
科大讯飞长期致力于多语种翻译和交互领域的研发,突破了基于多语种语音识别、合成、机器翻译与智能问答等关键技术。围绕冬奥会及冬残奥会各种应用场景,科大讯飞很早就开始了研发布局。
2019年9月,成为北京冬奥会官方自动语音转换与翻译独家供应商后,科大讯飞联合中国科学技术大学、沈阳雅译、哈尔滨工业大学等单位,共同承担了“科技冬奥”重点专项“冬奥多语种语言服务关键支撑技术及设备”项目,通过相关技术、算法在团队内部的共享,最终确保技术能满足需要。
“在冬奥会、冬残奥会上,我们将提供多语种智能语音和语言关键技术服务平台,实现三类‘沟通无障碍’。”科大讯飞高级副总裁杜兰说,“包括人与人之间的沟通无障碍,人与组织之间的沟通无障碍,人与赛事之间的沟通无障碍。”
为实现“人与人沟通”无障碍,科大讯飞推出双屏翻译机,可支持中文与60种外语互译、15种外语口音的翻译、中文和31种外语拍照互译。并针对冬奥加入百万级别专业词汇以及行业术语,覆盖各类体育运动和裁判用语,可有效满足运动员、教练员、观众等的跨语言沟通需求。
在“人与组织沟通”上,讯飞多媒体会议办公和信息发布系统支持语音实时识别、翻译、记录,并将识别和翻译结果形成字幕投屏展示,减轻了对人工翻译服务的依赖,大幅提高了多语种会议的沟通效率与视听体验。
在“人和赛事沟通”方面,他们采用新型多语种、多模态虚拟人技术开发了冬奥智能问答设备,支持冬奥知识问答和信息查询服务,可通过智能语音进行交互,有效应对参赛人员咨询内容庞杂、语言多样的问题。
“我们通过语音识别、语音合成、机器翻译等技术,参与开发了‘冬奥通’APP等应用,不仅能让全世界观众和游客及时掌握赛事资讯,还可以帮助视障人士‘听见’奥运文字,帮助听障人士‘看见’奥运声音。”陈志刚对《中国科学报》说,“届时,比赛结果被翻译成多语言并呈现在屏幕上,同时还将通过虚拟主播等形式同步发布者的语气、语调,进行全天候播报。”
现场测试表明,科大讯飞为赛事提供的多项服务中,面向冬奥场景重点语种(中、英、日、韩、俄、法、西)的识别正确率超过95%,语音合成自然度超过4.0分(普通人说话水平),机器翻译准确率大于95%,冬奥问答意图理解准确率超过85%。
为让冬奥虚拟志愿者“爱加”实现不同语言间的快速切换,科大讯飞创新性地提出“多语言免唤醒随意切换自由说”技术方案,通过多语言共享基元并结合各国语言统一训练方案,解决了跨语言知识共享和语种切换等关键问题,能让各国人员体会到“科技冬奥”的魅力。
通过集成多语种识别、自然语言理解、机器翻译、虚拟形象等核心技术,讯飞的AI虚拟主播形成了一站式视频生产和编辑服务能力,可以合成各国运动员的形象,并支持31种语种和方言,做到嘴型、面部微表情全对应,替代真人进行播报。
“这将是一次真正无障碍沟通的奥运会。”陈志刚说,“不论国家种族,或是视障、听障人士,都能进行顺畅沟通,感受到北京冬奥的温暖。”
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。