《动手学深度学习》笔记2.4——神经网络从基础→进阶 (文件读写-保存参数和模型)

目录

[0. 前言](#0. 前言)

正文:读写文件

[1. 加载和保存张量](#1. 加载和保存张量)

[2. 加载和保存模型参数](#2. 加载和保存模型参数)

[3. 小结](#3. 小结)


0. 前言

正文:读写文件

到目前为止,我们讨论了如何处理数据, 以及如何构建、训练和测试深度学习模型。 然而,有时我们希望保存训练的模型, 以备将来在各种环境中使用(比如在部署中进行预测)。 此外,当运行一个耗时较长的训练过程时,最佳的做法是定期保存中间结果, 以确保在服务器电源被不小心断掉时,我们不会损失几天的计算结果。 因此,现在是时候学习如何加载和存储权重向量和整个模型了。

1. 加载和保存张量

对于单个张量,我们可以直接调用load和save函数分别读写它们。 这两个函数都要求我们提供一个名称,save要求将要保存的变量作为输入。

In 1:

python 复制代码
import torch
from torch import nn
from torch.nn import functional as F
​
x = torch.arange(4)
torch.save(x, 'x-file')  # 在当前目录下,新建一个名为'x-file'的文件,把数据(权重和模型)存下来

我们现在可以将存储在文件中的数据读回内存。

In 2:

python 复制代码
x2 = torch.load('x-file') # 将存储在当前目录下'x-file'文件中的数据(权重和模型)读(load)回内存

x2
复制代码
Out[2]:
复制代码
tensor([0, 1, 2, 3])

我们可以**存储一个张量列表,然后把它们读回内存。**

In 3:

python 复制代码
y = torch.zeros(4)

torch.save([x, y],'x-files')  # 可以存(save)一个列表(list)
x2, y2 = torch.load('x-files')
(x2, y2)
复制代码
Out[3]:
复制代码
(tensor([0, 1, 2, 3]), tensor([0., 0., 0., 0.]))

我们甚至可以(写入或读取从字符串映射到张量的字典)。 当我们要读取或写入模型中的所有权重时,这很方便。

In 4:

python 复制代码
mydict = {'x': x, 'y': y}

torch.save(mydict, 'mydict')  # 可以存(save)一个字典(dict)
mydict2 = torch.load('mydict')
mydict2
复制代码
Out[4]:
复制代码
{'x': tensor([0, 1, 2, 3]), 'y': tensor([0., 0., 0., 0.])}

2. 加载和保存模型参数

保存单个权重向量(或其他张量)确实有用, 但是如果我们想保存整个模型,并在以后加载它们, 单独保存每个向量则会变得很麻烦。 毕竟,我们可能有数百个参数散布在各处。 因此,深度学习框架提供了内置函数来保存和加载整个网络。 需要注意的一个重要细节是,这将保存模型的参数而不是保存整个模型。 例如,如果我们有一个3层多层感知机,我们需要单独指定架构。 因为模型本身可以包含任意代码,所以模型本身难以序列化。 因此,为了恢复模型,我们需要用代码生成架构, 然后从磁盘加载参数。 让我们从熟悉的多层感知机开始尝试一下。

In 5:

python 复制代码
class MLP(nn.Module):

    def __init__(self):
        super().__init__()
        self.hidden = nn.Linear(20, 256)
        self.output = nn.Linear(256, 10)
​
    def forward(self, x):
        return self.output(F.relu(self.hidden(x)))
​
net = MLP()
X = torch.randn(size=(2, 20))
Y = net(X)
复制代码

接下来,我们**将模型的参数存储在一个叫做"mlp.params"的文件中。**

In 6:

python 复制代码
torch.save(net.state_dict(), 'mlp.params') # 用state_dict()得到所有参数(parameters)的、字符串到参数的映射

为了恢复模型,我们**实例化了原始多层感知机模型的一个备份。** 这里我们不需要随机初始化模型参数,而是(直接读取文件中存储的参数。)

In 7:

python 复制代码
clone = MLP() # 想要在别的地方用这些参数,不仅要带走参数'mlp.params',还要带走MLP的模型定义MLP()

# clone = MLP()里的参数已经被随机初始化了
clone.load_state_dict(torch.load('mlp.params'))  # 调用load_state_dict()复写(over write)掉上面初始化的参数
clone.eval()  # eval()将模型设为评估模式,返回self(就是模型本身),这里用来返回模型,看看参数写入是否成功
复制代码
Out[7]:
复制代码
MLP(
  (hidden): Linear(in_features=20, out_features=256, bias=True)
  (output): Linear(in_features=256, out_features=10, bias=True)
)

由于两个实例具有相同的模型参数,在输入相同的X时, 两个实例的计算结果应该相同。 让我们来验证一下。

In 8:

python 复制代码
Y_clone = clone(X)

Y_clone == Y  # 和clone之前的模型net = MLP()参数比较一下,是完全相等的,说明参数写入成功
复制代码
Out[8]:
复制代码
tensor([[True, True, True, True, True, True, True, True, True, True],
        [True, True, True, True, True, True, True, True, True, True]])

3. 小结

  • save和load函数可用于张量对象的文件读写。
  • 我们可以通过参数字典保存和加载网络的全部参数。
  • 保存架构必须在代码中完成,而不是在参数中完成。
相关推荐
硅谷秋水5 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
用户298698530145 小时前
使用 Python 将 JSON 转换为 Word 文档的实践指南
python·json·api
MobotStone5 小时前
AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI
人工智能·算法
jay神5 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
卷无止境6 小时前
AI 加速开发之后,如何应对尚未发现的代码安全威胁
后端·python
复杂网络与机器学习6 小时前
Meta 重写 K-Means:25 轮压成 2 轮,GPU 快 45 倍
人工智能·算法·数据挖掘
cpolar技术支持6 小时前
容器数是 6 个、6 个、还是 6 个,可服务早被换掉了:用一个 5.5MB 的 Go 单文件把机器每周的变化记下来,再给它套一层别人看不懂的入口
python·docker·ai·cpolar
ONEYAC唯样6 小时前
YXC扬兴科技小型化有源晶振OT4JI-111-24M,提升红外热成像稳定性
人工智能·python·pygame
小宋10216 小时前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
威哥爱编程6 小时前
模拟面试智能体开发实战 09:把面试官装进手机,鸿蒙端聊天界面用 SSE 流式输出让回复逐字滚出来
python·agent·harmonyos