昇思25天学习打卡营第8天|模型权重保存与加载

打卡

目录

打卡

模型的两种保存形式

Checkpoint

中间表示IR

模型保存与加载

模型权重保存-例1

模型权重加载-例1

模型权重保存-例2

模型权重加载-例2

模型权重文件的空间占用计算-例


模型的两种保存形式

Checkpoint

权重参数文件

中间表示IR

中间表示(Intermediate Representation,IR)是程序编译过程中介于源语言和目标语言之间的程序表示。MindIR是一种基于图表示的函数式IR,其最核心的目的是服务于自动微分变换

在图模式set_context(mode=GRAPH_MODE)下运行用MindSpore编写的模型时,若配置中设置了set_context(save_graphs=1),运行时会输出一些图编译过程中生成的一些中间文件,我们称为IR文件。

  • ir后缀结尾的IR文件:一种比较直观易懂的以文本格式描述模型结构的文件,可以直接用文本编辑软件查看。

  • dot后缀结尾的IR文件:描述了不同节点间的拓扑关系,可以用graphviz将此文件作为输入生成图片,方便用户直观地查看模型结构。对于算子比较多的模型,推荐使用可视化组件MindSpore Insight对计算图进行可视化。

模型保存与加载

保存流程:

  • 定义模型网络
  • 选择损失函数、优化器等
  • 训练模型、更新模型权重参数
  • 选择1:保存模型权重参数Checkpoint到本地
  • 选择2:保存中间表示IR到本地

加载流程:

  • 定义模型网络
  • 选择1:从本地加载模型权重参数Checkpoint
  • 选择2:保存中间表示IR到本地

模型权重保存-例1

python 复制代码
model = network()
mindspore.save_checkpoint( 
       model,         ## 待保存的对象。数据类型可为 mindspore.nn.Cell 、list或dict。
       "model.ckpt"   ## 模型权重保存路径
     )

模型权重加载-例1

python 复制代码
model = network()
param_dict = mindspore.load_checkpoint("model.ckpt")
param_not_load, _ = mindspore.load_param_into_net(
                                    model, 
                                    param_dict
                                  )
print(param_not_load)  ## param_not_load是未被加载的参数列表,为空时代表所有参数均加载成功。

模型权重保存-例2

MindIR同时保存了Checkpoint和模型结构,因此需要定义输入Tensor来获取输入shape。

python 复制代码
model = network()
inputs = Tensor(np.ones([1, 1, 28, 28]).astype(np.float32))
mindspore.export(model, 
                inputs, 
                file_name="model", 
                file_format="MINDIR"
                )

模型权重加载-例2

python 复制代码
mindspore.set_context(mode=mindspore.GRAPH_MODE)

graph = mindspore.load("model.mindir")
model = nn.GraphCell(graph)
outputs = model(inputs)
print(outputs.shape)

模型权重文件的空间占用计算-例

  • 计算方式:计算模型参数个数;按照每个参数占用的字节数计算所有参数的字节占用;转换字节占用单位为MB或GB等。
  • 对比:查看实际保存的大小,与计算预期占用字节数做对比。

例子如下:可以看到,计算与预期基本一致。MindIR同时保存了Checkpoint和模型结构,参数文件会更大一些。

相关推荐
花月C2 分钟前
算法 - 差分
人工智能·算法·机器学习
拆房老料2 分钟前
深入解析提示语言模型校准:从理论算法到任务导向实践
人工智能·算法·语言模型
rengang665 分钟前
352-Spring AI Alibaba OpenAI DashScope 多模态示例
java·人工智能·spring·多模态·spring ai·ai应用编程
音视频牛哥5 分钟前
RTMP/RTSP/WebRTC/SRT/HLS/DASH/GB28181/WebTransport/QUIC协议规范深度分析
人工智能·计算机视觉·音视频·webrtc·大牛直播sdk·dash·webtransport
张较瘦_6 分钟前
[论文阅读] AI+ | AI如何重塑审计行业?从“手工筛查”到“智能决策”:AI审计的核心逻辑与未来路径
论文阅读·人工智能
要加油GW9 分钟前
python使用vscode 需要配置全局的环境变量。
开发语言·vscode·python
不爱学英文的码字机器12 分钟前
深度解析《AI+Java编程入门》:一本为零基础重构的Java学习路径
java·人工智能·后端·重构
B站计算机毕业设计之家14 分钟前
python图像识别系统 AI多功能图像识别检测系统(11种识别功能)银行卡、植物、动物、通用票据、营业执照、身份证、车牌号、驾驶证、行驶证、车型、Logo✅
大数据·开发语言·人工智能·python·图像识别·1024程序员节·识别
晨非辰20 分钟前
《数据结构风云》递归算法:二叉树遍历的精髓实现
c语言·数据结构·c++·人工智能·算法·leetcode·面试
mailangduoduo26 分钟前
命令行传参及调试——vscode平台
c++·人工智能·vscode·代码调试·命令行传参