论文标题：KD-Crowd: a knowledge distillation framework for learning from crowds

期刊：Frontiers of Computer Science

作者：Shaoyuan LI, Yuxiang ZHENG, Ye SHI, Shengjun HUANG, Songcan CHEN

发表时间：15 Jan 2025

DOI： 10.1007/s11704-023-3578-7

微信链接：点击此处阅读微信文章

引用格式：

Shaoyuan LI, Yuxiang ZHENG, Ye SHI, Shengjun HUANG, Songcan CHEN. KD-Crowd: a knowledge distillation framework for learning from crowds. Front. Comput. Sci., 2025, 19(1): 191302

阅读原文：

问题概述

目前众包学习研究中的一个焦点是对工人的专业知识进行建模。现有的基于噪声转换矩阵的方法，对工人专业知识进行建模。但这种方法通常会过拟合标签噪声，导致建模得到的专业知识过度简化或估计的不准确。

技术步骤

KD-Crowd包含两个阶段：(1) 真实标签预测优化；(2) 联合知识蒸馏和众包再训练。在第一阶段首先训练一个基于转移矩阵的众包模型作为教师模型，该模型在过拟合之前进行早期停止，然后训练一个无噪声模型的鲁棒的学生模型，模仿教师模型的真实标签预测，旨在优化转移矩阵噪声模型未能捕获的错误。在第二阶段，更换角色，使用经过优化的真实标签预测指导众包标签，以此重新训练一个更好的众包模型。

实验结果

通过对合成数据集和真实世界数据集进行广泛的实验，清楚地验证了KD-Crowd相对于两种不同众包模型的有效性和通用性，结果显示KD-Crowd实现了显著的性能提升。

文章推荐：

文章精要 | 南京大学叶翰嘉副教授团队：从维度角度重新审视多维分类问题 2025 19(1)：191304

文章精要 | 中国科学技术大学何向南教授团队：图卷积如何放大流行度偏差？2024 18(5)：185603

文章精要 | 北京航空航天大学黄迪教授团队：FIFAWC：群体行为识别的具有详细注释和丰富语义的数据集 2024 18(6)：186351

文章精要 | 中国科学院软件所马菲菲研究员团队、计算所曹娟研究员团队合作提出：基于提示的对抗样本生成和鲁棒性提升方法 2024 18(4)：184318

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”；入选“第4届中国国际化精品科技期刊”；入选“中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础科学、 、工程技术和人文社会科学四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

中国学术前沿期刊网

http://journal.hep.com.cn