PyTorch 保存和加载模型状态和优化器状态

以下示例代码展示了如何在 PyTorch 中保存和加载模型状态和优化器状态,以便训练中断后可以继续训练。

1. 保存模型和优化器状态

假设模型训练了一段时间后,我们想要保存模型和优化器的状态,确保下次可以从同一位置继续训练。

2. 加载模型和优化器状态

加载保存的状态后,可以从保存的 epoch 继续训练。

示例代码

复制代码
import torch
import torch.nn as nn
import torch.optim as optim

# 假设我们定义了一个简单的模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.fc = nn.Linear(10, 2)

    def forward(self, x):
        return self.fc(x)

# 创建模型和优化器
model = SimpleModel()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 模拟的训练代码片段
num_epochs = 20
checkpoint_path = "model_checkpoint.pth"

# 保存模型和优化器状态
def save_checkpoint(epoch, model, optimizer, path):
    torch.save({
        'epoch': epoch,
        'model_state_dict': model.state_dict(),
        'optimizer_state_dict': optimizer.state_dict()
    }, path)
    print(f"Checkpoint saved at epoch {epoch}.")

# 加载模型和优化器状态
def load_checkpoint(model, optimizer, path):
    checkpoint = torch.load(path)
    model.load_state_dict(checkpoint['model_state_dict'])
    optimizer.load_state_dict(checkpoint['optimizer_state_dict'])
    start_epoch = checkpoint['epoch']
    print(f"Checkpoint loaded, starting at epoch {start_epoch}.")
    return start_epoch

# 尝试加载已保存的检查点
try:
    start_epoch = load_checkpoint(model, optimizer, checkpoint_path)
except FileNotFoundError:
    start_epoch = 0
    print("No checkpoint found, starting training from scratch.")

# 继续训练
for epoch in range(start_epoch, num_epochs):
    # 模拟训练步骤
    # output = model(input) ...
    # loss = loss_fn(output, target) ...
    # optimizer.zero_grad()
    # loss.backward()
    # optimizer.step()

    print(f"Epoch {epoch+1}/{num_epochs} completed.")

    # 每 5 个 epoch 保存一次模型状态
    if (epoch + 1) % 5 == 0:
        save_checkpoint(epoch + 1, model, optimizer, checkpoint_path)

解释

  1. 保存 :save_checkpoint 函数会在指定的 epoch 保存模型和优化器状态。
  2. 加载 :load_checkpoint 函数会加载模型和优化器状态,并返回上次的 epoch,以便继续训练。
  3. 训练控制 :start_epoch 变量控制了是否继续从之前的检查点继续训练,确保模型在中断后可以接着训练。
相关推荐
Csvn10 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库11 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静11 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康12 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea12 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen12 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷13 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘13 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习