【MMEngine】由EpochBased 切换至 IterBased参数修改解析及源码讲解

目录

🎵🎵背景

👉👉动机

[🌟 🌟EpochBased 配置举例](#🌟 🌟EpochBased 配置举例)

[🌸🌸按照 iter 训练模型](#🌸🌸按照 iter 训练模型)

🌷train_cfg

🌷default_hooks

🌷param_scheduler

🌷log_processor

[🌸🌸按照 epoch 训练模型](#🌸🌸按照 epoch 训练模型)

🌷train_cfg

🌷default_hooks

🌷param_scheduler

🌷log_processor

🐸🐸注意事项

✌️完整mmengine源码:链接

整理不易,欢迎一键三连!!!送你们一条美丽的--分割线--


🎵🎵背景

  • 上一篇讲到如何基于mmengine设置train_cfg参数,感兴趣的童鞋可以移步。
  • 上一篇主要讲解通过RUNNER.ITERBASEDTRAINLOOP与RUNNER.EPOCHBASEDTRAINLOOP 源码解析说明了基于迭代次数和轮数的config文件设置。本篇主要讲解除train_cfg之外,由EPOCHBASED 切换至 ITERBASED的其他参数的完整设置。

👉👉动机

基于MMEngine做模型训练,设置各种hook时,总是看不到源码,只能按照既定模式进行网络训练,要修改就得自己试参数,索性咱们就一次深挖到底,看看最底层的代码是如何写的,就不用每次猜参数了。

MMEngine 支持两种训练模式:

  • 基于轮次的 EpochBased 方式
  • 基于迭代次数的 IterBased 方式

这两种方式在下游算法库均有使用,例如MMDetection 默认使用 EpochBased 方式,MMSegmentation默认使用 IterBased 方式。本篇主要讲解除train_cfg参数之外,由EPOCHBASED 切换至 ITERBASED的其他参数的完整设置。

🌟 🌟EpochBased 配置举例

MMEngine 很多模块默认以 EpochBased 的模式执行,如 ParamScheduler, LoggerHook, CheckpointHook 等,常见的 EpochBased 配置写法如下:

python 复制代码
param_scheduler = dict(
    type='MultiStepLR',
    milestones=[6, 8]
    by_epoch=True  # by_epoch 默认为 True,这边显式的写出来只是为了方便对比
)

default_hooks = dict(
    logger=dict(type='LoggerHook'),
    checkpoint=dict(type='CheckpointHook', interval=2),
)

train_cfg = dict(
    by_epoch=True,  # by_epoch 默认为 True,这边显式的写出来只是为了方便对比
    max_epochs=10,
    val_interval=2
)

log_processor = dict(
    by_epoch=True
)  # log_processor 的 by_epoch 默认为 True,这边显式的写出来只是为了方便对比, 实际上不需要设置

runner = Runner(
    model=ResNet18(),
    work_dir='./work_dir',
    train_dataloader=train_dataloader_cfg,
    optim_wrapper=dict(optimizer=dict(type='SGD', lr=0.001, momentum=0.9)),
    param_scheduler=param_scheduler
    default_hooks=default_hooks,
    log_processor=log_processor,
    train_cfg=train_cfg,
    resume=True,
)

🌸🌸按照 iter 训练模型

如果想按照 iter 训练模型,需要做以下改动:

🌷train_cfg

  • 将 train_cfg 中的 by_epoch 设置为 False,同时将 max_iters 设置为训练的总 iter 数,val_iterval 设置为验证间隔的 iter 数。示例代码如下:
python 复制代码
train_cfg = dict(
    by_epoch=False,
    max_iters=10000,
    val_interval=2000
)

🌷default_hooks

  • 将 default_hooks 中的 logger 的 log_metric_by_epoch 设置为 False, checkpoint 的 by_epoch 设置为 False。示例代码如下:
python 复制代码
default_hooks = dict(
    logger=dict(type='LoggerHook', log_metric_by_epoch=False),
    checkpoint=dict(type='CheckpointHook', by_epoch=False, interval=2000),
)

🌷param_scheduler

  • 将 param_scheduler 中的 by_epoch 设置为 False,并將 epoch 相关的参数换算成 iter。示例代码如下:
python 复制代码
param_scheduler = dict(
    type='MultiStepLR',
    milestones=[6000, 8000],
    by_epoch=False,
)

🌷log_processor

  • 将 log_processor 的 by_epoch 设置为 False。示例代码如下:
python 复制代码
log_processor = dict(
    by_epoch=False
)

📢📢注意:如果你能保证IterBasedTraining 和 EpochBasedTraining 总 iter 数 一致,直接设置 convert_to_iter_based 为 True 即可。

🌸🌸按照 epoch 训练模型

🌷train_cfg

如果想按照 epoch 训练模型,需要做以下改动:

  • 将 train_cfg 中的 by_epoch 设置为 True,同时将 max_epochs 设置为训练的总epoch数,val_iterval 设置为验证间隔的 epoch数。示例代码如下:
python 复制代码
train_cfg = dict(
    by_epoch=True,
    max_epochs=10,
    val_interval=2
)

🌷default_hooks

  • 将 default_hooks 中的 logger 的 log_metric_by_epoch 设置为 True, checkpoint 的 by_epoch 设置为 True。示例代码如下:
python 复制代码
default_hooks = dict(
    logger=dict(type='LoggerHook', log_metric_by_epoch=True),
    checkpoint=dict(type='CheckpointHook', interval=2, by_epoch=True),
)

🌷param_scheduler

  • 将 param_scheduler 中的 by_epoch 设置为 True,并將iter 相关的参数换算成 epoch 。示例代码如下:
python 复制代码
param_scheduler = dict(
    type='MultiStepLR',
    milestones=[6, 8],
    by_epoch=True,
)

🌷log_processor

  • 将 log_processor 的 by_epoch 设置为 True。示例代码如下:
python 复制代码
log_processor = dict(
    by_epoch=True
)

📢​​​​​​​📢注意:如果你能保证IterBasedTraining 和 EpochBasedTraining 总 iter 数 一致,直接设置 convert_to_iter_based 为 True 即可。示例代码如下:

🐸🐸注意事项

如果基础配置文件为 train_dataloader 配置了基于iteration/epoch 采样的 sampler,则需要在当前配置文件中将其更改为指定类型的 sampler,或将其设置为 None 。当 dataloader 中的 sampler 为 None,MMEngine 或根据 train_cfg 中的 by_epoch参数选择 InfiniteSampler(False) 或 DefaultSampler(True)。

如果基础配置文件在 ++train_cfg 中指定了 type++,那么必须在当前配置文件中将 type 覆盖为(IterBasedTrainLoop 或 EpochBasedTrainLoop ),而++不能简单的指定 by_epoch++ 参数。

✌️完整mmengine源码:链接

整理不易,欢迎一键三连!!!

送你们一条美丽的--分割线--

🌷🌷🍀🍀🌾🌾🍓🍓🍂🍂🙋🙋🐸🐸🙋🙋💖💖🍌🍌🔔🔔🍉🍉🍭🍭🍋🍋🍇🍇🏆🏆📸📸⛵⛵⭐⭐🍎🍎👍👍🌷🌷

相关推荐
米小虾11 分钟前
Jev 拆解:不写字、只判断,一个「决策模型」如何接管 LLM 最贵的那一步
人工智能·agent
数字新视界28 分钟前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
laoyeye8311 小时前
手写 vLLM 分页 KV Cache(三):引用计数、写时复制(CoW)与前缀缓存
人工智能·github
小码哥0681 小时前
AI+能源管理系统如何用于工厂?云捷EMS能源管理系统功能与界面详解
人工智能·能源·能源管理系统·能耗监测·能源管理系统源码·企业能源管理系统·ai+能源管理系统
墨林陌1 小时前
AI 热点日报(2026-11-19):Anthropic 全球史上最大 IPO 上市,谷歌发布 Gemini 4 Neon
人工智能
阿里云大数据AI技术1 小时前
把可观测做成基础设施:阿里云 Elasticsearch 监控链路的一次彻底重构
人工智能
TDengine (老段)2 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
甲维斯3 小时前
GPT6.2“买家秀”来了,吼吼呵呵!
人工智能
艾莉丝努力练剑3 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
kyle~3 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端