|
|
| FCS 文章精要 | 香港城市大学&南方科技大学，优化深度多任务学习：POMSI框架同步解决梯度冲突与尺度失衡 |
|
论文标题：Mitigating scale imbalance and conflicting gradients in deep multi-task learning
期刊：Frontiers of Computer Science
作者：Yuepeng JIANG, Yunhao GOU, Wenbo ZHANG, Xuehao WANG, Yu ZHANG, Qiang YANG
发表时间：9 Dec 2024
DOI：10.1007/s11704-024-40632-2
微信链接：点击此处阅读微信文章
引用格式：
Yuepeng JIANG, Yunhao GOU, Wenbo ZHANG, Xuehao WANG, Yu ZHANG, Qiang YANG. Mitigating scale imbalance and conflicting gradients in deep multi-task learning.Front. Comput.Sci., 2026, 20(2): 2002318
阅读原文：
摘要
深度多任务学习（MTL）在同时处理多个任务时常面临两个核心挑战：不同任务梯度方向的破坏性干扰（梯度冲突）以及梯度模长差异过大导致的优化失衡（尺度失衡）。为此，研究团队提出了一种名为POMSI的组合方法，通过将冲突梯度进行几何投影并引入可学习的调节因子来平衡梯度尺度。该方法不依赖特定的分布假设且具有模型无关性，实验证明其在多个基准视觉数据集上均优于现有的前沿算法。
文章精要
深度多任务学习（MTL）通过在单一网络中共享参数，能够同时为多个任务提供预测结果，在自动驾驶、视觉场景理解等资源受限的应用场景中展现出极高的效率。然而，MTL模型的优化过程极具挑战性。当不同任务产生的梯度方向相反时，会产生“梯度冲突”，导致任务间相互抵消更新效果；同时，由于不同任务的损失函数类型不同，其梯度模长可能存在数量级上的差异，即“尺度失衡”，这会导致模长较大的任务主导训练过程，进而抑制较弱任务的性能。
为了解决上述痛点，香港城市大学与南方科技大学的研究团队提出了POMSI（Projecting conflicting gradients and Mitigating the Scale Imbalance）框架。该框架的核心在于协同处理方向和模长两个维度的优化：它首先利用几何投影技术，在检测到梯度冲突时，将一个任务的梯度投影到另一个任务梯度的法向量上，从而消除负向干扰；随后，POMSI引入了一个基于相似度计算的可学习调节因子，用于动态调整各任务梯度的模长，确保所有任务在更新过程中都能获得合理的权重分配。
实验结果表明，POMSI在NYUDv2、PASCAL-Context和Cityscapes等主流多任务学习数据集上均取得了显著的性能提升。与传统的GradNorm和PCGrad等方法相比，POMSI能够更有效地平衡不同复杂度的视觉任务（如语义分割、深度估计和表面法线预测），不仅提高了模型的整体精度，还加速了训练的收敛过程。这一研究成果为构建更稳健、高效的多任务人工智能系统提供了新的技术路径。
期刊简介
Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办，南京大学支持，SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华院士，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐B类期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；两次入选“中国科技期刊卓越行动计划”（一期梯队、二期领军）。
中国学术前沿期刊网
http://journal.hep.com.cn
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
