CANN 组织链接 ： https://atomgit.com/cann
GE 仓库链接 ： https://gitcode.com/cann/ge
1. 生命周期分析的精细化与内存峰值控制
GE 在图编译阶段执行的内存生命周期分析，是决定最终设备内存占用（HBM）的关键。
1.1 区分读/写访问和持久性需求
GE 对图中每个张量进行分类：
- 只读（Weights/Constants）：这些张量（如 ops-nn 的权重）在图生命周期内保持不变，只需一次性分配 HBM 空间。
- 临时读写（Intermediate Tensors）：生命周期短，用于算子间数据传递。GE 专注于这些张量的内存复用。
- 持久读写（States/Gradients）：如 RNN 状态、训练中的模型状态，生命周期长，需要持续占用内存。
1.2 内存分配块的合并
基于生命周期图，GE 采用图遍历算法，识别出生命周期不相交的中间张量，并将它们合并到同一个 HBM 内存块中，从而实现内存复用。
- 内存池粒度：GE 确保分配的内存块是对齐的，并与 NPU 硬件支持的最大传输单元（如 HCOMM 事务大小）对齐，以优化内存访问的效率。
2. 训练模式下的内存与调度优化
在训练模式下，GE 必须处理前向传播、反向传播（梯度计算）和参数更新所需的内存空间。
2.1 内存生命周期的交错调度
训练模式下，前向传播的中间激活值需要被缓存（Checkpointing）供反向传播使用。GE 需要智能地安排前向计算 与反向计算的顺序，以最大限度地复用内存。
- 梯度复用：GE 调度算法会优先在反向传播中复用前向传播中已计算但当前已无用的激活值内存空间，从而显著降低训练时的峰值内存需求。
2.2 内存分配与算子执行的同步
GE 生成的执行计划不仅包括算子执行顺序，还包括内存分配/释放操作的触发点。
- 静态分配/释放注入：在图编译输出的指令流中，GE 注入了在 Runtime 执行前必须完成的内存预分配指令，以及在特定算子执行完成后立即标记内存可复用的指令。这确保了 Runtime 知道何时可以安全地回收内存，避免了 GC 延迟。
3. 总结
GE 在内存优化方面的作用是全局性的、静态的。它通过对整个计算图的生命周期进行精确建模和分析，实现了设备内存资源的极致利用。这种静态的、基于图的内存规划，是保障大规模模型在有限 HBM 资源上稳定运行的关键技术。
CANN 组织链接 ： https://atomgit.com/cann
GE 仓库链接 ： https://gitcode.com/cann/ge