|
|
百川智能发布Baichuan 2大模型,将公开详细技术报告 |
|
近日,在北京市科委、中关村管委会和北京市海淀区政府的指导下,以“百川汇海,开源共赢”为主题的大模型发布会在京召开。会上,百川智能宣布正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本,并且均为免费可商用。
中国科学院院士张钹致辞 主办方供图
据悉,Baichuan2-7B和Baichuan2-13B将对学术研究完全开放。百川智能此次还开源了模型训练的Check Point,并宣布将发布 Baichuan 2 技术报告,详细介绍Baichuan 2 的训练细节,帮助大模型学术机构、开发者和企业用户更深入地了解其训练过程,更好地推动大模型学术研究和社区的技术发展。
中国科学院院士张钹在致辞中指出,当前我国推出的大模型主要集中于垂直领域的应用上,目前关于大模型本身的研究亟待推进。他认为,目前世界上对大模型的理论工作原理、产生现象等仍不清楚,只有将这些问题研究清楚,才能发展出具有中国特色的大模型。
百川智能相关负责人介绍说,Baichuan 2-7B-Base 和 Baichuan 2-13B-Base,均基于 2.6万亿高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署门槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中Baichuan 2-13B-Base相比上一代13B模型,数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑推理能力提升25%,语义理解能力提升15%。
此外,本次开源的两个模型在各大评测榜单上也表现优秀,在MMLU、CMMLU、GSM8K等几大权威评估基准中,远远领先LLaMA2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于LLaMA2等同尺寸模型竞品。尤其是,根据MMLU等多个权威英文评估基准评分 Baichuan2-7B以70亿的参数在英文主流任务上与130亿参数量的LLaMA2持平。
据了解,百川智能自成立至今,在四个月内相继发布了Baichuan-7B、Baichuan-13B两款开源免费可商用的中文大模型,以及一款搜索增强大模型Baichuan-53B,目前下载量超过500万次。近日,百川智能通过《生成式人工智能服务管理暂行办法》备案,可正式面向公众提供服务。
版权声明:凡本网注明“来源:中国科学报、科学网、科学新闻杂志”的所有作品,网站转载,请在正文上方注明来源和作者,且不得对内容作实质性改动;微信公众号、头条号等新媒体平台,转载请联系授权。邮箱:shouquan@stimes.cn。