模型训练 不同批次大小与学习率下的训练损失对比(2)

模型训练不同批次大小与学习率下的训练损失对比(2)

以ConvNeXt 为例

ConvNeXt 中模型之间的关系

flyfish

一、架构尺寸维度

ConvNeXt-T / S / B / L / XL 是同一套架构的不同尺寸变体,只有通道数、每个阶段的block数量不同,核心设计(patchify stem、倒置瓶颈、7×7深度卷积、分层结构等)完全一致,参数量和计算量逐级递增。

模型 定位 对应对标
ConvNeXt-T(Tiny) 轻量版 Swin-T
ConvNeXt-S(Small) 小版 Swin-S
ConvNeXt-B(Base) 基础版 Swin-B
ConvNeXt-L(Large) 大版 Swin-L
ConvNeXt-XL(Extra Large) 加大版

二、训练阶段

论文里有两条训练路线,其中22K预训练→多任务微调是主流、效果更好的路线;1K从头训练是基线对照组。

复制代码
随机初始化权重
    ├─ 路线1(基线):直接在ImageNet-1K从头训练300轮 → 1K从头分类模型
    └─ 路线2(主流):在ImageNet-22K预训练90轮 → 22K通用预训练权重
                                ├─ 分支1:ImageNet-1K分类微调30轮(224px/384px)→ 分类成品模型
                                ├─ 分支2:COCO检测/分割微调 → 检测成品模型
                                └─ 分支3:ADE20K语义分割微调 → 分割成品模型

路线1:主流范式 ------ ImageNet-22K 预训练 → 多任务微调

第1层:通用预训练底座

输入:随机初始化的 ConvNeXt-T/S/B/L/XL

训练数据:ImageNet-22K(21841个类别,约1400万张图片,超大类别、超大规模)

训练:90轮预训练

产出:ImageNet-22K 预训练权重

定位:所有下游任务的通用特征底座,属于半成品,不直接用于具体任务;作用是让模型学到通用的底层视觉知识(边缘、纹理、形状、物体通用规律)。

第2层:各任务平级微调(都基于22K预训练权重)

22K预训练权重是公共底座,在此基础上分别对接不同的任务头,做独立的平级微调;三个任务之间没有继承关系,都直接来自22K预训练:

微调分支 任务 做法 产出
分支1 ImageNet-1K 图像分类 接分类头,在1000类ImageNet-1K上微调30轮;分224×224、384×384两种分辨率 最终图像分类模型
分支2 COCO 目标检测/实例分割 作为骨干网络,接入Mask R-CNN/Cascade Mask R-CNN检测头,在COCO数据集上微调 检测/分割任务模型
分支3 ADE20K 语义分割 作为骨干网络,接入UperNet分割头,在ADE20K数据集上微调 语义分割任务模型

检测、分割等下游任务,直接用22K预训练的通用骨干微调,不是先微调1K分类,再微调检测分割;ImageNet-1K分类只是众多下游任务中的一个,和检测、分割是平级关系。

路线2:基线对照 ------ ImageNet-1K 从头全量训练

输入:随机初始化的 ConvNeXt-T/S/B/L(XL参数量过大,没有做1K从头训练)

训练数据:ImageNet-1K(1000个类别,120万张图片)

训练:直接从零开始训练300轮

定位:作为基线对照组,用来验证ConvNeXt架构本身的效果;精度显著低于22K预训练+1K微调的版本(比如ConvNeXt-B:从头训练83.8% vs 22K预训练+微调85.8%)。

相关推荐
Hhy_11079 分钟前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑1 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
yiangL_15 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
优化Henry17 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
β添砖java21 小时前
Transformer大白话学习笔记
笔记·学习·transformer
kevin_org1 天前
LangChain入门学习(四)
python·学习·langchain·fastapi
瑞克-桑切斯2 天前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊2 天前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose2 天前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
qingwufeiyang_5302 天前
Docker学习笔记2
笔记·学习