昇思MindSpore进阶教程--AOE调优工具

大家好,我是刘明,明志科技创始人,华为昇思MindSpore布道师。

技术上主攻前端开发、鸿蒙开发和AI算法研究。

努力为大家带来持续的技术分享,如果你也喜欢我的文章,就点个关注吧

概述

AOE(Ascend Optimization Engine)是一款自动调优工具,作用是充分利用有限的硬件资源,以满足算子和整网的性能要求。AOE工具的详细介绍,请参考AOE简介。本文档主要介绍如何使用AOE工具实现MindSpore训练场景下的调优。

开启调优

配置环境变量。

在set_context接口中设置aoe_tune_mode,即可开启AOE工具进行在线调优。aoe_tune_mode的取值为"online", 开启在线调优。

在set_context接口中设置aoe_config,可设置调优配置。job_type是设置调优类型,取值在["1", "2"]中,默认值是2。其中:

1:表示子图调优。

2:表示算子调优。

举例在线调优的使用方法:

python 复制代码
import mindspore as ms
ms.set_context(aoe_tune_mode="online", aoe_config={"job_type": "2"})

设置好上述context之后,按照正常执行训练脚本方式即可启动调优,用例执行期间,无需任何操作,用例执行结束之后的结果即为调优之后的结果。

查看调优结果

调优开始后,会在执行调优的工作目录下生成命名为aoe_result_opat_{timestamp}_{pidxxx}.json的文件来记录调优过程和调优结果。该文件的具体解析请参考调优结果文件分析。

调优完成后,若满足自定义知识库生成条件,则会生成自定义知识库。如果指定了知识库存储路径的环境变量TUNE_BANK_PATH,调优生成的知识库会在指定目录下生成,否则调优生成的知识库会在如下默认路径中${HOME}/Ascend/latest/data/aoe/custom/graph/${soc_version}

知识库合并

算子调优结束后,生成的调优知识库支持合并以便于再次执行用例使用(或者其他脚本使用)。仅支持相同昇腾AI处理器型号下的自定义知识库合并。具体合并方式请参考CANN开发工具指南中的合并知识库。

使用须知

AOE调优工具在使用时,请注意以下几点:

  1. AOE调优工具只支持在Ascend环境上使用。

  2. 请确保运行环境中执行调优用户的home目录下磁盘可用空间>=20G。

  3. 开启该调优工具后,可以明显感知算子编译时间变长,属于正常现象。

相关推荐
聆风吟º7 小时前
CANN runtime 实战指南:异构计算场景中运行时组件的部署、调优与扩展技巧
人工智能·神经网络·cann·异构计算
Codebee9 小时前
能力中心 (Agent SkillCenter):开启AI技能管理新时代
人工智能
聆风吟º9 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
uesowys9 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_56789 小时前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws
User_芊芊君子9 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
智驱力人工智能10 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
qq_1601448710 小时前
亲测!2026年零基础学AI的入门干货,新手照做就能上手
人工智能
Howie Zphile10 小时前
全面预算管理难以落地的核心真相:“完美模型幻觉”的认知误区
人工智能·全面预算
人工不智能57710 小时前
拆解 BERT:Output 中的 Hidden States 到底藏了什么秘密?
人工智能·深度学习·bert