技术成果

学科专业调整优化大模型

摘要待完善

基于知识图谱和多模态大模型在医学影像报告生成技术

摘要待完善

一种多模态多目标的路径规划算法

摘要待完善

多模态协同驱动的老年人平衡功能评估设备与预警平台

摘要待完善

基于多模态数据的肺结节智能筛查与诊断系统

摘要待完善

全年龄多模态智能机器人助理

摘要待完善

多模态专病数据库构建系统

摘要待完善

多模态卫星影像摄影测量遥感智能处理技术等三项专利

武汉大学2021-2024年科技成果转化十大典型案例之一（官网公布）

多模态健康信息采集和行为分析智能手环

摘要待完善

智慧教育中混合式学习环境下学习过程数据化关键技术

本项目主要目标是针对信息技术支撑下学习空间多元化、场景复杂、需求多样化，学习 者及学习行为呈现出新的特点和规律，研究多元学习空间中学习行为数据化关键技术，构建 “云-边缘-物联网”架构的多模态数据存储与处理平台，实现混合式学习环境下学习行为智 能感知和数据化，优化学习行为模型，基于实际应用与不同学习目标函数及内容，建立可重 复、可预测、可验证的对比数据集，为数据驱动的智慧教育生态构建和教育应用提供核心技 术与数据支撑。 （三） 关键技术 我们面向智慧教育中准确认知学生的学习状态和行为的大数据需求提出研究方案。本项 目实施方案涉及教育学、物联网、云计算、人工智能、隐私保护等多个领域，主要技术路线 如图所示： 图2 技术路线图 其中，项目包括的关键技术主要有以下三点： 邮政编码：710126 传 真：029-81891405 电 话：029-81892585 西安电子科技大学技术转移中心公众微信号： （1）基于物联网的多模态数据实时智能感知和多时间域数据采集技术。 该技术针对学习状态的数据化、特征参数量化问题，设计能够采集多重学习空间下的智 能数据感知物联网系统。主要技术难点在于抽样频率与识别准确度的平衡、人机交互的变化 规律等全新科学问题。 （2）学习状态多模态数据解析和智能处理技术 利用智能感知物联网采集实时性的原始学习状态数据，包括面部表情、脑电信号、头部 姿态、交互行为等原始数据，这些数据具有数据量大、模态多、冗余度高等特点，需要通过 智能化的预处理方法转换成可以量化的状态数据。 （3）多层次数据差分隐私保护技术 学习行为数据是学习者被动采集的多方面行为数据，受到日益增长的具有争议性的数据 伦理的制约。该项技术通过数据隐私保护机制实现数据多层次化的差分隐私安全算法；在保 证学习者最大数据隐私性的前提下，研究满足学习行为分析所需要的数据颗粒度。 技术成熟度： □概念验证

基于脑机接口的人体效能增强

本项目面向人体效能增强、尤其是人员智能增强需求，通过大脑 表征观测定位任务参与核心脑区、多模态多参数心理人员精准选拔选 择优势参训人员、基于强化认知和脑机接口的效能增强提升人员在特 — 165 — 定任务下的表现，缩短人员专家化训练时间、提升人员表现极限。目 前，团队针对某关键战位人员的视觉认知增强需求，研发了全国首套 基于脑机接口的视觉增强装备，部署在主要我 J2 家主要人才培养单 位和 2 家一线单位，该装备 ZB 受邀参加 2021 年 10 月于南京举办的 “十三五”全国训练装备展。 （三） 关键技术 关键核心技术由高度耦合的复合技术群构成，含有大脑核心脑区 定位技术、基于多模态生物信息的人员精准选拔技术和基于脑机接口 的智能人机交互大脑靶向干预技术。目前，团队已经攻克项目关键技 术、并形成原理样机，相关单位利用该装备在 2021 年的红蓝对抗业 务比武中获胜。 技术成熟度： □概念验证 □原理样机 工程样机 □中试 □产业化 合作方式： □联合研发 □技术入股 □转让 □授权（许可） 面议 — 166 —

数据化关键技术

本项目主要目标是针对信息技术支撑下学习空间多元化、场景复 杂、需求多样化，学习者及学习行为呈现出新的特点和规律，研究多 元学习空间中学习行为数据化关键技术，构建“云-边缘-物联网”架构 的多模态数据存储与处理平台，实现混合式学习环境下学习行为智能 感知和数据化，优化学习行为模型，基于实际应用与不同学习目标函 数及内容，建立可重复、可预测、可验证的对比数据集，为数据驱动 的智慧教育生态构建和教育应用提供核心技术与数据支撑。 （三） 关键技术 我们面向智慧教育中准确认知学生的学习状态和行为的大数据 需求提出研究方案。本项目实施方案涉及教育学、物联网、云计算、 人工智能、隐私保护等多个领域，主要技术路线如图所示： — 151 — 其中，项目包括的关键技术主要有以下三点： （1）基于物联网的多模态数据实时智能感知和多时间域数据采 集技术。 该技术针对学习状态的数据化、特征参数量化问题，设计能够采 集多重学习空间下的智能数据感知物联网系统。主要技术难点在于抽 样频率与识别准确度的平衡、人机交互的变化规律等全新科学问题。 （2）学习状态多模态数据解析和智能处理技术 利用智能感知物联网采集实时性的原始学习状态数据，包括面部 表情、脑电信号、头部姿态、交互行为等原始数据，这些数据具有数 据量大、模态多、冗余度高等特点，需要通过智能化的预处理方法转 换成可以量化的状态数据。 （3）多层次数据差分隐私保护技术 学习行为数据是学习者被动采集的多方面行为数据，受到日益增 长的具有争议性的数据伦理的制约。该项技术通过数据隐私保护机制 实现数据多层次化的差分隐私安全算法；在保证学习者最大数据隐私 性的前提下，研究满足学习行为分析所需要的数据颗粒度。 技术成熟度： □概念验证 □√原理样机 □工程样机 □中试 □产业化 合作方式： □√联合研发 □√技术入股 □√转让 □授权（许可） □√面议 — 15

基于语义智能的网络信息内容生态治理

本项目以政府、企业、社会、网民等多元主体参与网络生态治理 的需求为导向，以《网络信息内容生态治理规定》相关内容为指导， — 94 — 针对互联网海量的信息内容，以人工智能、自然语言处理、知识图谱、 复杂网络为理论基础，依托多模态语义理解相关技术，打造基于语义 智能的网络信息内容生态治理综合执法平台，实现网络舆情风险语义 词源识别、结合分布式智能搜索和多模态信息识别技术完成互联网内 容日常巡查、融合数据挖掘与追踪溯源技术实施动态电子信息取证、 基于音视频识别及语义分析实现多场景智能约谈、应用深度学习和知 识图谱技术为网信执法提供了智能裁量的尺度和参考等，从而为网信 管理部门依法依规治理提供了全覆盖、透明、高效的工作环境。 （三）关键技术 1、分布式智能搜索技术 基于 WebMagic 的分布式爬虫系统，通过全面巡查和定向巡查相 结合的方式，面向全网主流平台的各类文本、图片、音频和视频的多 模态数据进行 7*24 小时的实时信息采集。范围覆盖全网，涉及主题 丰富、模态全面：抖音、快手、好看视频等平台的视频信息；微博、 头条、人民号、澎湃新闻等平台的文本和图片信息；喜马拉雅等平台 的音频信息。基于 Elasticsearch 的分布式搜索引擎，通过对多模态数 据的索引构建，实现对数据源的分布式存储与实时检索，包括 Elasticsearch 分布式集群设计模块、垂直领域（网信）个性化词典构 建模块、数据索引模块、数据搜索模块、智能推荐模块。 2、领域知识图谱构建技术

超表面多功能集成空馈阵列天线应用技术

项目针对雷达、卫星等现代无线通信系统中天线宽带化、集成化及多功能化 发展需求，提出超表面同频率和极化的反、透射电磁波独立、高效、宽频带调控 的学术思想，建立宽带全空间电磁超表面设计理论与方法，并将其应用于多功能、 多通道集成透-反射阵天线设计，提出面向阵列辐射方向图的口面相位补偿策略， 突破了天线多模态高增益辐射技术难题，显著提升远距离无线通信系统的信道容 量和传输速率，为推动电磁超表面快速发展及现代无线通信系统中新型高性能天 线应用提供坚实的理论基础和技术支撑。

宏星遥感大模型

现有的遥感影像人工标注样本效率低，而且数据数量、质量、空间分辨率参差不齐。且往往在局部区域采样，缺乏多样性和变异性，使得训练得到的模型难以扩展到全球尺度。因此，遥感的专业大模型要发展，应该让专业的大模型做专业的事，“不能有了ChatGPT，所有的需求都要泛化”。同时，大模型的泛化一定存在一个临界点，不能持续泛化。宏星遥感图像解译人工智能大模型（简称宏星大模型）具有卫星或无人机航拍遥感图像自动解译，遥感数据变化分析、特定目标检测与跟踪等智能化功能。首先，它通过对遥感图像的像素级精准分割，准确识别并标注出道路、建筑、绿地、河流、农田、森林等区域，输出的智能化数据对各种下游工作，如地图制作、国土资源测绘、城市与行业规划设计等，具有极高的应用价值。其次，宏星大模型能够实时解译出同一个地区在不同时间节点的遥感数据图斑变化情况，可以为土地违规使用检测与执法、环境破坏检测与执法、自然灾害范围检测与损失估计等工作提供客观的证据。另外，宏星大模型还具有自动检测、识别与跟踪特定目标的功能，如飞机、军舰、坦克、大炮、林火等，可广泛应用于军事情报分析、交通流量分析、灾害检测与预警等各种检测与跟踪任务。

非接触式生理信号感知技术

项目成果是基于非接触式多模态生理信号感知监测系列产品的研发，利用关联成像 与机器视觉技术实现心率、血压、呼吸率等生理信号的远程实时监测。这一创新技术突破了传统接 触式监测的局限，无需直接接触被测试者，减少了不适感和限制，为远程医疗、健康管理、公共安 全和国防安全等领域提供了全新的解决方案。技术的先进性体现在对多种生理指标的准确高效检测， 通过分析人脸皮肤颜色和运动的细微变化，即使在低光照、抗扰动和非视域环境下也能进行监测。 项目团队拥有深厚的技术积累和丰富经验，确保了技术的可靠性。

基于记忆合金的机翼多模态变体驱动机构及无人机

本申请公开了基于记忆合金的机翼多模态变体驱动机构及无人机，涉及无人机领域。至少三个锁定组件沿输出件的运动路径间隔设置；锁定组件包括记忆合金解锁件和锁销机构，在锁定状态下，锁销机构与设置在输出件上的销孔配合以限制输出件运动；记忆合金解锁件能在通电加热时产生动作，驱动锁销机构脱离销孔，使锁定组件切换至解锁状态；本申请实现了驱动单元的小型化与轻量化，同时通过沿路径设置的多个锁定组件，使同一驱动单元能精准、可靠地将机翼锁定于多个预定后掠角，并可逆向收折，满足多次飞行任务需求；协同控制策略提升动态性能，通过“预蓄力‑再解锁”时序，将解锁点与最大驱动力爆发点对齐，降低了作动冲击并提升了响应速度。

基于深度学习的空心绝缘子切割缺陷检测方法及系统

本发明涉及数据分析技术领域，具体涉及基于深度学习的空心绝缘子切割缺陷检测方法及系统，包括：对空心绝缘子切割工位的多模态物理状态数据进行同步采集，获得切割工况参数矩阵；根据切割工况中的机械振动特征得到工业相机的极限曝光时长及实际曝光约束参数；根据曝光约束参数对空心绝缘子切割端面进行图像采集并得到伪缺陷风险因子矩阵；根据切割端面图像与伪缺陷风险因子矩阵进行深度学习联合检测得到候选缺陷区域集合；根据候选缺陷区域的几何尺寸及伪缺陷风险因子得到缺陷严重分数并完成致命缺陷判定。

一种基于受激拉曼组织学的多模态组织细胞邻域识别方法

本发明涉及计算机视觉识别技术领域，具体涉及一种基于受激拉曼组织学（SRH）的多模态组织细胞邻域（TCNs）识别方法，该方法包括获取离体组织的SRH图像；对处理后的图像进行细胞分割，并进行细胞的特征提取获取每个细胞的结构化特征数据，根据结构化特征数据，基于跨模态注意力机制，进行多模态特征融合，获取每个细胞对应的融合特征矩阵；将组织细胞根据融合特征矩阵以及邻接矩阵，划分为不同的功能群组，每个群组对应一个组织细胞邻域。本发明在提供形态和空间信息之外，额外提供了关键的代谢功能信息，能显著提高TCNs识别的准确率和生物学可解释性。

一种面向模态缺失场景的情感分析方法及装置

本发明公开了一种面向模态缺失场景的情感分析方法及装置，涉及人工智能与多模态数据处理技术领域。用于解决现有技术无法量化缺失不确定性、缺少特征校准锚点、优化策略僵化，造成对齐错乱与训练失衡的问题。该方法采集三类模态缺失序列原始数据，经处理得到模态基础特征矩阵；经不确定性估计块运算获得特征均值矩阵、模态分布方差矩阵，求解时间步置信权重并聚合生成全局语义共识矩阵作为全局语义锚点，完成注意力残差校准得到校准后单模态特征矩阵；依托单模态时序步的不确定标量方差确定相关权重与难度驱动动态重构损失，结合单模态预测偏差动态更新编码器梯度；经由多头交叉注意力融合后输出模型情感预测值。

一种基于大模型的待测非嵌入式接口自动化测试方法及系统

本发明公开了一种基于大模型的待测非嵌入式接口自动化测试方法及系统，其方法包括：首先对接口描述文档进行语义解析，提取接口元数据；然后将元数据与提示信息输入第一大语言模型，生成覆盖正常及异常边界场景的测试用例；再通过可配置代码模板引擎自动转换为可执行脚本，运行后采集实际响应数据；最后调用第二大语言模型对响应数据与预期断言进行语义级差异分析，自动生成测试报告。实现了接口测试全流程的自动化与智能化，无需人工编写测试用例和脚本，显著降低了测试门槛与维护成本，通过大模型的语义理解能力，能够处理复杂自然语言描述并生成全面、多样化的测试用例，有效提升测试覆盖率与缺陷检出率。

一种面向双光图像的源感知特征融合专家目标检测方法

本发明公开了一种面向双光图像的源感知特征融合专家目标检测方法，属于深度学习目标检测技术领域，本发明在多模态检测网络中引入检测理论启发的稀疏专家路由机制，并设计轻量化源感知残差门专家，对浅层、中深层以及检测头重建路径中的跨模态特征分别进行自适应融合。与现有固定融合方式不同，本发明能够根据不同层级特征的属性差异动态选择专家，并通过显式建模可见光纹理信息与红外显著性信息之间的互补关系，提高融合表示的判别性与鲁棒性，从而提升多模态目标检测的综合性能。本发明在浅层保留更充分的细粒度互补信息，在中深层增强跨模态语义判别能力，并在检测头重建阶段继续保持融合收益，从而实现更高的综合检测性能。