day49

@浙大疏锦行

  1. 预训练的概念

核心定义:先在大规模通用数据集上训练一个基础模型(学习通用特征,如边缘、纹理、形状),再将这个模型的参数迁移到目标任务中,进行微调(Fine-tuning)或直接使用。

本质:利用 "通用数据的特征迁移",解决目标任务数据量少、训练成本高的问题,是迁移学习的核心方式之一。

作用:大幅降低目标任务的训练时间;提升小数据集任务的模型性能;避免从零训练模型的过拟合风险。

2.经典的预训练模型

3.预训练的策略

(1)冻结预训练层(仅微调头部):

操作:冻结预训练模型的大部分层(仅保留参数不更新),只修改模型的 "分类头",仅训练分类头。

适用场景:目标任务数据量少、预训练模型特征足够通用。

(2)全量微调(Fine-tuning):

操作:解冻预训练模型的部分 / 全部层,让所有层的参数随目标任务更新。

适用场景:目标任务数据量充足,需要模型适配任务的专属特征。

(3)特征提取(Feature Extraction):

操作:直接用预训练模型的输出作为目标任务的特征,不更新预训练模型参数,仅训练新的分类器。

适用场景:目标任务与预训练任务高度相似,预训练特征可直接复用。

用预训练 ResNet18 完成 CIFAR10 分类

在CIFAR10 对比不同预训练模型(以 MobileNetV2 为例)

相关推荐
zwd200543 分钟前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI1 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes2 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
如夏倾城3 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes3 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技4 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
东莞市云毅网络有限公司5 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks5 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
飞Link6 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
用户0332126663676 小时前
使用 Python 快速查找并高亮 PDF 中的文本
python