昇腾AscendC算子中的workspace

workspace是设备侧Global Memory上的一块内存。workspace内存分为两部分:系统workspace和用户workspace。

  • 系统workspace:Ascend C API需要预留的workspace内存

    API在计算过程需要一些workspace内存作为缓存,因此算子需要为API预留workspace内存,预留内存大小通过GetLibApiWorkSpaceSize接口获取。

  • 用户workspace:算子实现使用到的workspace内存

    算子内部需要通过额外的device内存进行数据交换或者缓存的时候才需要分配,根据实际情况自行分配。使用场景如下:

    • 需要使用Unified Buffer和L1 Buffer上的空间且空间不够用时,可以将数据暂存至workspace上。
    • 调用SyncAll等API接口时,需要workspace作为入参。
    • 其他需要使用Global Memory上内存空间的场景。

910B内存存储层次

参考链接 :https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/850alpha001/opdevg/Ascendcopdevg/atlas_ascendc_10_0092.html

相关推荐
阿里云大数据AI技术3 分钟前
阿里云 EMR Serverless StarRocks(Stella 2.2.0) 发布:内表与湖表同时支持向量、全文与 AI Function,一条 SQL 完成多模态检索
人工智能
格林威4 分钟前
工业相机Chunk功能全解析:图像嵌入时间戳、编码器元数据(附堡盟C#代码)
开发语言·人工智能·数码相机·计算机视觉·c#·视觉检测·工业相机
怪奇云呼军9 分钟前
闪电智能Voice Agent:ASR 首字延迟和最终识别延迟怎么测?t0-t3 埋点实战
人工智能·科技·ai·语音识别
冬哥聊AI15 分钟前
百万行代码里跑Claude Code?三面这题80%的人答不上来
人工智能
甄同学16 分钟前
第二十三篇:Tasks系统,Claude Code如何统一管理7种后台任务
人工智能
独隅18 分钟前
IntelliJ IDEA 接入多种AI大模型插件终极指南(2026.1 企业合规版)
java·人工智能·intellij-idea
有Li21 分钟前
EvoMDT:用于多癌种结构化临床决策的自进化多智能体系统文献速递/医学智能体前沿
人工智能·学习·分类·文献·医学生
小刘BlandNew32 分钟前
AI核心概念大串联
人工智能
墨染天姬35 分钟前
【AI】自驱动智能体
人工智能
D2aZXN3FhrDa7e2121 小时前
佛山乐从低预算实体店如何选择?看美诚AI自动化获客方案
运维·人工智能·自动化·佛山美诚科技有限公司