技术专利盘活专利发明专利2026.08.21#公开;2026.09.08#实质审查的生效;2026.09.22#授权

一种面向异构任务的大语言模型量化联邦微调方法及系统

中国人民解放军国防科技大学· 湖南· CN202611088481.5

专利概览

申请人: 中国人民解放军国防科技大学
发明人: 卢彦丰;吴韬;宋淼荟;常超;王怀习;吴一尘;杨方
申请号: CN202611088481.5
专利号: CN202611088481.5
法律状态: 2026.08.21#公开;2026.09.08#实质审查的生效;2026.09.22#授权
主分类号: G06N3/096
IPC: G06N3/096;G06N3/0455;G06N3/098;G06F18/214

摘要

本申请提供了一种面向异构任务的大语言模型量化联邦微调方法及系统，该方法包括：获取多个客户端各自对应的可用资源和训练数据集；基于多个客户端各自对应的可用资源，确定多个客户端各自对应的局部矩阵和量化级别；基于多个客户端各自对应的量化级别和局部矩阵，确定多个客户端各自对应的大语言模型；并通过多个客户端各自对应的训练数据集，分别对多个客户端的大语言模型进行训练，得到多个客户端各自对应的模型参数；基于多个客户端各自对应的模型参数，进行参数全局聚合，确定全局模型参数；以使基于全局模型参数实现量化联邦微调。上述方案，能够在提高模型泛化性能的同时，减少模型训练所占用的时间。