|
|
| FDE 论文解读 | 陈静远等：利用人工智能知识调整大语言模型 |
|
论文标题：WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge
期刊：Frontiers of Digital Education
作者：Jingyuan Chen, Tao Wu, Wei Ji, Fei Wu
发表时间：25 Jun 2024
DOI：10.1007/s44366-024-0005-z
微信链接：点击此处阅读微信文章
近年来，大语言模型（LLMs）在自然语言处理领域取得了突破性进展，展现出在各个领域的广泛应用潜力，包括教育领域。LLMs能够理解和生成自然语言，使其在教育领域具有巨大的应用价值，例如自动生成测试题目、提供智能辅导和解答专业问题等。然而，现有LLMs在教育领域的应用仍面临着一些挑战：对专业知识的理解不足，生成内容缺乏多样性和缺乏准确性。
内容解读
近日，浙江大学教育学院百人计划研究员陈静远在Frontiers of Digital Education（《数字教育前沿（英文）》）期刊上发表了一篇名为“WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge”的文章，提出了一个基于知识系统的AI教育模型WisdomBot，旨在通过指令微调、检索增强等方法提升LLMs在教育领域的应用能力。
WisdomBot首先从教材中手动提取一些基础的、高层次的粗粒度知识概念，但仅凭粗粒度知识概念无法满足教育场景中复杂的知识需求。因此，WisdomBot采用了一种创新的“自指令学习方法”来收集细粒度知识概念。该方法利用ChatGPT模拟AI学习者的角色，针对每个粗粒度概念和每个知识类别，ChatGPT会生成一系列学习过程中可能遇到的问题，并总结相关的细粒度知识概念。通过这种方法，WisdomBot最终收集到了981个细粒度概念和1,196个问题，涵盖了各个学科领域的知识。
收集到的知识概念需要进行组织和结构化，以便LLMs能够有效地进行查询和学习。因此，WisdomBot将知识概念按照学科领域、概念层次和关系进行分类和关联，构建了一个结构化的知识系统。
为了使LLMs能够更好地理解和执行教育场景中的指令，WisdomBot采用了基于知识的指令微调方法。WisdomBot设计了39个不同的指令模板，每个模板都包含一个或多个占位符。将收集到的知识概念或问题填充到指令模板中，生成一系列原始指令。由于LLMs生成的指令可能存在质量参差不齐、缺乏多样性等问题，WisdomBot采用ChatGPT对生成的指令进行评估，并人工筛选和修订。
图 1 数据集演示
图 2 测试数据的分布
接着，本文通过在自构建数据集和C-Eval数据集上进行实验，评估了WisdomBot模型在教育领域的应用效果。在自构建数据集上，实验涵盖了专业问答、测试题目生成和智能辅导三个方面的教育功能，并针对Blooms Taxonomy中描述的6个认知过程进行了评估。通过人工评估和GPT-4评估，结果显示WisdomBot在各个方面的表现均优于基线模型，证明了其在理解和应用专业知识方面的优势。在C-Eval数据集上，WisdomBot在各个学科领域均取得了显著的性能提升，尤其在STEM相关学科领域表现尤为出色。在C-Eval Hard子集中，WisdomBot也取得了可观的性能提升，进一步验证了其强大的知识推理能力。
综上所述，本文提出了一个基于知识系统的AI教育模型WisdomBot，并通过实验验证了其有效性。WisdomBot能够有效提升LLMs在教育领域的应用能力，为教育领域带来新的机遇。未来，可进一步扩展WisdomBot的知识系统，并探索其在更多教育场景中的应用。
文章信息
Jingyuan Chen, Tao Wu, Wei Ji, Fei Wu. WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge.Frontiers of Digital Education, 2024, 1(2): 159–170
https://doi.org/10.1007/s44366-024-0005-z
识别二维码，免费获取原文
作者信息
陈静远，博士生导师，浙江大学教育学院百人计划研究员。主要从事人工智能教育、数字化学习、教育数据分析与挖掘等方向的研究工作。发表国际高水平会议与期刊论文20余篇，谷歌引用1800余次，申请发明专利11件，在智能教育科研项目方面，主持国家自然科学基金青年项目和上海市科技计划项目等；担任国家自然科学基金首个教育 与技术类重大项目、科技部科技创新2030-新一代人工智能重大项目及青年科学家项目子课题负责人。参与教育部计算机领域本科教育教学改革试点工作计划（简称“101” 计划）核心课程《人工智能引论》和教育部关键领域工程硕博士核心课程《人工智能：算法与系统》的建设。研制人工智能专业领域教育垂直大模型 “智海-三乐”，并在教学过程中进行推广和验证。
吴韬，浙江大学计算机科学与技术学院博士生，导师是吴飞教授。研究方向主要为人工智能与教育，包括大语言模型与智能体和多模态大模型在教育中的应用。研制人工智能专业领域教育垂直大模型“智海-三乐”，并在教学过程中进行推广和验证。在计算机领域顶级会议MM发表论文一篇。
吉炜，新加坡国立大学高级博士后研究员，主要研究方向是多模态理解、生成、检索与预训练大模型，在多领域顶级会议和期刊发表论文40余篇，担任ACM MM24领域主席和多个顶级会议及期刊审稿人，谷歌学术引用1700余次，曾获CVPR2022最佳论文候选。
吴飞，浙江大学求是特聘教授，博士生导师。浙江大学人工智能研究所所长，国务院学位委员会智能科学与技术学科评议组成员，教育部人工智能科技创新专家组工作组组长（2018.8–2020.12）、科技部科技创新2030“新一代人工智能”重大科技项目指南编制专家。担任中国工程院院刊《Engineering》信息与电子工程学科执行主编，中国工程院信息学部分刊信息电子前沿《Frontiers of Information Technology & Electronic Engineering》执行副主编，中国人工智能学会会士。主要研究领域为人工智能、多媒体分析与检索和统计学习理论。
期刊及主编介绍
期刊特点
1. 国际化投审稿平台Editorial Manager方便快捷。
2. 严格的同行评议（Peer Review）。
3. 免费语言润色，有力保障出版质量。
4. 不收取作者任何费用。
5. 不限文章长度。
6. 审稿周期：第一轮平均30天，投稿到录用平均60天。
7. 在线优先出版（Online First）。
8. 通过Springer Link平台面向全球推广。
在线浏览
https://journal.hep.com.cn/fde
（中国大陆免费下载）
https://link.springer.com/journal/44366
在线投稿
https://www.editorialmanager.com/fode/
联系我们
fde@hep.com.cn
10-58582344, 10-58581581
主管单位：中华人民共和国教育部
主办单位：高等教育出版社
主编：谭方正
联合主编：杨宗凯 李永智
CN 10-1952/G4
p-ISSN 2097-3918
e-ISSN 2097-3926
本刊地址：北京市朝阳区惠新东街4号
《数字教育前沿（英文）》编辑部
电子邮箱：fde@hep.com.cn
电话：010-58582344, 010-58581581
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
