中科闻歌发布优雅多模态文生视频平台

8月19日，2024北京人工智能生态大会在北京举行。会上，中科闻歌董事长王磊发布了优雅（YoYa）多模态文生视频平台（以下简称YoYa）。YoYa针对视频内容生产的工业化需求，以及对齐人物、动作、情感、对话等元素的视频生成技术需求，以人工智能（AI）多模态技术，赋能视频内容创作全链路。

据介绍，依托中科闻歌发布的雅意大模型和多模态大模型能力，YoYa可智能完成脚本生成、以文生图、以图生视频生产链路，融合智能剪辑、语音合成、人物口型驱动能力，用户只需输入主题要求，YoYa即可快速生成素材视频并剪辑成片。

在具体应用方面，基于此前中科闻歌在媒体领域内容生产服务经验，YoYa拥有景别、运镜、节奏、情感、视角等媒体专业维度的信息抽取能力，可实现图、视频素材智能理解，并根据脚本，对已有内容资产进行高阶语义检索，智能选取相关素材完成剪辑，大幅提升视频生成的可控性及完成度。

面向视频创作多样需求，YoYa还可以提供语音克隆、视频口型翻译、AI数字人、AI音乐创作、AI视频生成、多模态内容编目等智能工具，覆盖视频内容创作的全链路，有效支撑视频创意的高质量落地。

王磊透露，目前YoYa已与多行业领域展开合作，为某电影学院提供“人工智能+中国审美”的影像数智化平台，为某传媒集团提供数智出版关键技术研究与应用，为某网络视频平台提供超高清音视频智数关键技术研究与应用。