论文标题：BAFT: bubble-aware fault-tolerant framework for distributed DNN training with hybrid parallelism

期刊：Frontiers of Computer Science

作者：Runzhe CHEN, Guandong LU, Yakai WANG, Rui ZHANG, Zheng HU, Yanming MIAO, Zhifang CAI, Jingwen LENG, Minyi GUO

发表时间：15 Jan 2025

DOI：10.1007/s11704-023-3401-5

微信链接：点击此处阅读微信文章

引用格式：

Runzhe CHEN, Guandong LU, Yakai WANG, Rui ZHANG, Zheng HU, Yanming MIAO, Zhifang CAI, Jingwen LENG, Minyi GUO. BAFT: bubble-aware fault-tolerant framework for distributed DNN training with hybrid parallelism. Front. Comput. Sci., 2025, 19(1): 191102

阅读原文：

问题概述

针对分布式训练中以往的容错框架开销大且影响训练效率的问题，上海交通大学过敏意教授团队撰写了该研究论文。

文章旨在提出面向分布式训练场景，一种利用训练过程中由数据依赖等原因产生的系统资源空闲来掩盖检查点记录开销，从而减少容错功能本身对训练效率的影响的方法。

技术步骤

通过预先检测分布式训练过程中系统资源空闲的分布情况，针对每段空闲时间合理分配检查点备份任务，从而形成训练任务与检查点备份任务的调度方案，再在训练过程中进行异步式的检查点备份与传输。从而实现低开小的检查点备份机制。

实验结果

在分布式训练集群上的进行的多种配置的训练测试结果表明，本项研究所实现的容错框架能够有效应用于分布式训练场景。并且由于检查点记录而引入的开销仅为无容错机制的情况下的1%，优于其他同类的容错框架。

文章推荐

文章精要 | 国防科技大学黄立波教授团队：RVAM16：基于RISC-V和ARM Thumb的低开销多指令集处理器 2025 19(1): 191103

文章精要 | 上海交通大学过敏意、吴晨涛等：Dynamic-EC: 一种高效的联盟链系统动态纠删码方法 2025 19(1): 191101

文章精要 | 华中科技大学邵志远教授团队：GPU上动态图处理综述：概念、术语和系统 2024 18(4): 184106

文章精要 | 福州大学程永利副教授团队：一种基于磁盘I/O优化的并发图任务处理系统 2024 18(3): 183105

文章精要 | 北京理工大学张志威教授团队：面向异构区块链间数据共享的混合并发控制机制 2024 18(3): 183104

文章精要 | 华中科技大学廖小飞教授团队：一种支持细粒度数据迁移的混合内存架构 2024 18(2): 182103

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、 、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn