一种面向大数据系统集成的内存动态资源分配调度方法

专利概览

申请人

重庆胜艳科技有限公司

发明人

陈祥

申请号

CN202611107262.7

主分类号

G06F9/50

IPC

G06F9/50;G06F9/48;G06F9/54;G06F15/173

摘要

本发明涉及分布式计算与内存管理技术领域，公开了一种面向大数据系统集成的内存动态资源分配调度方法，该方法包括：解析分布式计算作业以建立数据块逻辑地址至本地页表项的映射；当下游算子完成对数据块的读取时生成事件通知；通过RDMA将本地物理页帧中的数据写入远端计算节点的已注册内存区域，并在内核态构建远端内存索引表；写入远端重定向标记和整数索引，释放对应的本地物理页帧；当目标页表项触发缺页异常且包含该重定向标记时，系统根据整数索引查询索引表获取远端数据地址，拉取远端数据更新页表项并恢复进程执行。本发明有效释放了本地内存资源，并通过操作系统的缺页异常机制实现远端数据按需恢复，降低了系统重算开销。

转化信息

许可费

面议