checkpoint存的是参数还是模型?

在深度学习中,术语 "checkpoint" 通常用来指代在训练过程中保存的模型参数的一种形式。模型参数是深度学习模型中学到的权重和偏置等参数,它们定义了模型的状态。

当你在训练深度学习模型时,你可能会定期保存模型的参数,以便在需要时能够恢复训练或者用于推断。这些保存的参数通常被称为 checkpoint。

一个 checkpoint 文件通常包含了模型中所有的权重和偏置参数,以及一些额外的信息,比如优化器的状态和当前训练的轮数等。当你加载一个 checkpoint 时,你可以将这些参数设置到模型中,使模型恢复到之前保存的状态。

需要注意的是,checkpoint 存储的是模型的参数而不是模型的架构。模型的架构通常在代码中定义,并且在训练期间不会变化。当你加载一个 checkpoint 时,你需要确保你的模型架构与保存时相同,以便能够正确地加载参数

相关推荐
谢的2元王国10 分钟前
这是跑通实用rag的日志记录 重点关注一点 句子向量化模型的选择 以及召回结果后 重排交叉编码的精进
人工智能·深度学习
Blossom.1181 小时前
AI Agent的长期记忆革命:基于向量遗忘曲线的动态压缩系统
运维·人工智能·python·深度学习·自动化·prompt·知识图谱
岑梓铭1 小时前
YOLO深度学习(计算机视觉)—毕设笔记1(介绍篇)
深度学习·yolo·目标检测·计算机视觉
ldccorpora1 小时前
GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1数据集介绍,官网编号LDC2007T23
人工智能·深度学习·算法·机器学习·自然语言处理
AI人工智能+3 小时前
表格识别技术:实现复杂表格内容的精准解析与表格结构的版面还原,推动档案管理从数字化存储向智能化服务转型
深度学习·ocr·表格识别
Hcoco_me4 小时前
大模型面试题75:讲解一下GRPO的数据回放
人工智能·深度学习·算法·机器学习·vllm
高洁015 小时前
AIGC技术与进展(1)
深度学习·算法·机器学习·transformer·知识图谱
PeterClerk5 小时前
计算机视觉常用指标(Metrics)速查与解释(持续更新)
人工智能·python·深度学习·计算机视觉·benchmark·评测
算法狗25 小时前
大模型面试题:有以下哪些方式可以在 prompt 中插入指令?
人工智能·深度学习·机器学习·语言模型·面试题
Hcoco_me6 小时前
大模型面试题76:强化学习中on-policy和off-policy的区别是什么?
人工智能·深度学习·算法·transformer·vllm