面向异构数据中心的分布式机器学习高效运行方法研究

本项目围绕分布式机器学习的通信效率和任务调度开展研究，旨在提供高效率、高 精度、低成本的分布式训练解决方案。具体研究内容包括：1）针对分布式机器学习训练中 参数通信频繁、带宽竞争大的问题，研究分层通信拓扑架构和基于阈值的参数同步算法，缓 解参数汇聚节点的通信瓶颈，减少通信频率，从整体上提升训练效率。2）针对异构数据中 心并行节点计算不同步的问题，研究异构资源可感知的分布式任务调度策略，弥补异构节点 的差异，均衡计算，提高收敛精度。本项目有效解决分布式机器学习中通信瓶颈和资源浪费 等问题，致力于推动人工智能应用更广泛的落地，降低数据中心成本投入。 图4. 分布式机器学习系统框架 （三）关键技术 （1）基于二维分层环形结构的并行通信算法 由于分布式集群的规模不断扩大，基于传统环形通信拓扑架构的方法面临数千个 GPU节点的延迟。解决此问题，本项目提出基于二维分层环形结构的大规模分布式机器并 行通信算法，充分利用组内高带宽、组间低带宽的通信特点，结合环形和分层通信算法的优 邮政编码：710126 传 真：029-81891405 电 话：029-81892585 西安电子科技大学技术转移中心公众微信号： 势，减少并行通信的步数，从而降低通信开销。 （2）异构资源可感知的任务调度方案 由于异构数据中心节点资源的差异性，在中心化以及去中心化的并行通信架构中均 存在部分慢速节点影响整体训练效率的情况。解决此问题，本项目提出基于异构资源可感知 的任务调度策略，利用轻量级的机器学习技术预测节点间的资源变化，根据资源分配适配任 务，从而达到节点间并行训练步调一致，避免迭代倾斜，提高训练精度。 技术成熟度： □概念验证 原理样机 □工程样机 □中试 □产业化 合作方式： □联合研发 □技术入股 □转让 □授权（许可） 面议 邮政编码：710126 传 真：029-81891405 电 话：0