昇腾AscendC算子中的workspace

workspace是设备侧Global Memory上的一块内存。workspace内存分为两部分:系统workspace和用户workspace。

  • 系统workspace:Ascend C API需要预留的workspace内存

    API在计算过程需要一些workspace内存作为缓存,因此算子需要为API预留workspace内存,预留内存大小通过GetLibApiWorkSpaceSize接口获取。

  • 用户workspace:算子实现使用到的workspace内存

    算子内部需要通过额外的device内存进行数据交换或者缓存的时候才需要分配,根据实际情况自行分配。使用场景如下:

    • 需要使用Unified Buffer和L1 Buffer上的空间且空间不够用时,可以将数据暂存至workspace上。
    • 调用SyncAll等API接口时,需要workspace作为入参。
    • 其他需要使用Global Memory上内存空间的场景。

910B内存存储层次

参考链接 :https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850alpha001/opdevg/Ascendcopdevg/atlas_ascendc_10_0092.html

相关推荐
式5162 分钟前
大模型学习基础(九)LoRA微调原理
人工智能·深度学习·学习
CCPC不拿奖不改名3 分钟前
python基础面试编程题汇总+个人练习(入门+结构+函数+面向对象编程)--需要自取
开发语言·人工智能·python·学习·自然语言处理·面试·职场和发展
菜鸟‍4 分钟前
【论文学习】一种用于医学图像分割单源域泛化的混合双增强约束框架 || 视觉 Transformer 在通用图像分割中的 “缺失环节”
人工智能·深度学习·计算机视觉
五度易链-区域产业数字化管理平台5 分钟前
数观丨2026年半导体集成电路产业融资分析
大数据·人工智能
应用市场6 分钟前
机器学习中的正向反馈循环:从原理到实战应用
人工智能·深度学习·机器学习
Allen正心正念202529 分钟前
GGUF/GPTQ/AWQ模型对比
人工智能
Coder_Boy_30 分钟前
基于SpringAI的在线考试系统-知识点管理模块完整优化方案
java·前端·人工智能·spring boot
Godspeed Zhao31 分钟前
从零开始学AI3——背景知识2
人工智能
康康的AI博客34 分钟前
多模态大一统:从GPT-4突破到AI领域质的飞跃之路
人工智能·ai
咚咚王者37 分钟前
人工智能之核心基础 机器学习 第十九章 强化学习入门
人工智能·机器学习