在11月10日举行的第5届中国超级算力大会（ChinaSC 2023）上，由中科院计算技术研究所研究员张云泉、清华大学教授陈文光、美国阿贡国家实验室Pavan Balaji研究员和瑞士苏黎世实验室Torsten Hoefler教授联合ACM SIGHPC China委员会共同发起的世界人工智能算力性能500排行榜——AIPerf500发布。

榜单显示，“鹏城云脑II”再次蝉联榜首，实现“四连冠”；北京超级云计算中心和一台神威系列高性能计算机、联泰集群、算力互联（北京）的智算系统列在第2~5位。另据榜单发布人、清华大学计算机系长聘教授翟季冬介绍，本届榜单前20位系统中有5台系新增机器。

  ?

AIPerf500排行榜TOP5，本文图源ChinaSC 2023

作为鹏城实验室与华为公司联合打造的人工智能大科学装置，“鹏城云脑II”拥有“华为鲲鹏920+昇腾910”的CPU+AI加速芯片组合，铸就其强大的人工智能算力。此外，在今年5月在德国汉堡举行的2023国际超级计算大会（ISC23）上，“鹏城云脑II”实现了全球IO500排行榜“六连冠”。

这是AIPerf500第四次发榜。翟季冬介绍，该测试程序具有“提供一个分数”“可变计算规模”“计算有人工智能意义”“多机通信可以少但不能没有”等特点。实践证明，AIPerf能够有效地评价计算系统的人工智能算力，是对大规模计算系统人工智能算力评测这一领域空白的有效补充。

翟季冬

“各个省市都投入许多资源和财力建设智能计算，公众需要一个简单明晰的指标来了解‘哪套系统的人工智能算力更强’‘整个领域的发展状况如何’等问题，AIPerf就是在此背景下诞生的。”翟季冬说：“好的指标可以引领领域的健康发展。”

大模型在全球的风靡，离不开大算力的支撑。如何评测不同智能计算系统的大模型训练能力？为此，AIPerf特别发布了面向大模型的基准测试程序AIPerf-LLM。

翟季冬称，评测智能计算系统大模型训练能力，面对着要测试真实大模型负载、支持不同智能处理器、适应不同系统规模等挑战。AIPerf-LLM基于Llama-S 可变规模大模型设计，提出“一个参数、多种大小”理念，对给定初始模型和数据集进行若干步预训练，并与参考实现的Loss曲线对比来验证其有效性。在量化评估训练性能方面，该测试程序将不同精度的浮点运算均视为一次AIOp，测试得分即训练模型的AIOp数量与训练时长之比，单位为AIOps。同时，AIPerf-LLM还通过多种并行计算组合策略和多样化的优化算法进行性能调优。

基于AIPerf-LLM，翟季冬发布了以“大模型训练能力”作为区分的算力排行榜。在可测的若干智能计算系统中，复旦大学人工智能创新与产业研究院、算力互联（北京）科技有限公司、北京超级云计算中心、 魏桥国科智算中心、北京师范大学（珠海）交叉智能超算中心提交的智能计算系统位列AIPerf-LLM Top5。

AIPerf-LLM Top10 

翟季冬表示，下一步，AIPerf Benchmark还需在支持更多国产智能处理器、支持更多机器学习框架、AIPerf-LLM 自动性能调优、进一步国际化推广等方面扎实推进。