【mmengine】配置器(config)（进阶）继承与导出，命令行修改配置

一、配置文件的继承

1.1 继承机制概述

新建optimizer_cfg.py:

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

新建runtime_cfg.py:

device = "cuda"
gpu_ids = [0, 1]
batch_size = 64
epochs = 100
num_workers = 8

新建resnet50.py:

_base_ = ['optimizer_cfg.py',"runtime_cfg.py"]

新建inherit_and_export.py:

from mmengine.config import Config

cfg = Config.fromfile('resnet50.py')
print(cfg)

运行inherit_and_export.py:

虽然我们在resnet50.py 中没有定义 optimizer 字段和run_time参数，但由于我们写了 base = ['optimizer_cfg.py', runtime_cfg.py]，会使这个配置文件获得 optimizer_cfg.py和 runtime_cfg.py中的所有配置信息。

1.2 修改继承字段

由于 optimizer 这个字段是一个字典，我们只需要重新定义这个字典里面需修改的下级字段即可。这个规则也适用于增加一些下级字段。

修改resnet50.py:

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
optimizer_SHUAI = dict(lr=0.123456)

对于非字典类型的字段，例如整数，字符串，列表等，重新定义即可完全覆盖，例如下面的写法就将 gpu_ids 这个字段的值修改成了 [0,1,2,3,4,5,6,7]。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)
# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类，重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

1.3 删除字典中的 key

有时候我们对于继承过来的字典类型字段，不仅仅是想修改其中某些 key，可能还需要删除其中的一些 key。这时候在重新定义这个字典时，需要指定 delete=True，表示将没有在新定义的字典中出现的 key 全部删除。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类，重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

# 删除, 只保留type和lr
optimizer = dict(_delete_=True, type='SGD', lr=0.01)

这时候，optimizer_SHUAI 这个字典中就只有 type 和 lr 这两个 key，momentum 和 weight_decay 将不再被继承。

1.4 引用被继承文件中的变量

有时我们想重复利用 base 中定义的字段内容，就可以通过 {{base.xxxx}} 获取来获取对应变量的拷贝。例如：

新建refer_base_var.py：

_base_ = ['resnet50.py']
a = {{_base_.model}}

在inherit_and_export.py中

cfg = Config.fromfile('refer_base_var.py')
print(cfg.a)

结果

解析后发现，a 的值变成了 resnet50.py 中定义的 model

配置类提供了一种更 pythonic 的方式，让我们能够在 python 类配置文件中修改 base 中定义的变量（类配置文件专属特性，目前不支持在 json、yaml 配置文件中修改 base 中定义的变量）。

_base_ = ['resnet50.py']
# a = {{_base_.model}}

a = _base_.model
a.type = 'MobileNet'

二、 配置文件的导出

==在启动训练脚本时，用户可能通过传参的方式来修改配置文件的部分字段，为此我们提供了 dump 接口来导出更改后的配置文件。==与读取配置文件类似，用户可以通过 cfg.dump('config.xxx') 来选择导出文件的格式。dump 同样可以导出有继承关系的配置文件，导出的文件可以被独立使用，不再依赖于 base 中定义的文件。

基于继承一节定义的 resnet50.py，我们将其加载后导出：

cfg = Config.fromfile('resnet50.py')
cfg.dump('resnet50_dump.py')

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
model = dict(type='ResNet', depth=50)

cfg.dump('resnet50_dump.py')导出的py格式的：

cfg.dump('resnet50_dump.yaml')导出的yaml格式的：

cfg.dump('resnet50_dump.json')导出的json格式的：

三、 其他进阶用法

3.1 命令行修改配置

考虑到我们想修改的配置通常是一些内层参数，如优化器的学习率、模型卷积层的通道数等，因此 MMEngine 提供了一套标准的流程，让我们能够在命令行里轻松修改配置文件中任意层级的参数。

1.使用 argparse 解析脚本运行的参数

2.使用 argparse.ArgumentParser.add_argument 方法时，让 action 参数的值

3.为 DictAction，用它来进一步解析命令行参数中用于修改配置文件的参数使用配置类的 merge_from_dict 方法来更新配置

新建argparse_demo.py：

import argparse

from mmengine.config import Config, DictAction


def parse_args():
    # 1. 定义
    parser = argparse.ArgumentParser(description='Train a model')

    # 2. 增加参数
    parser.add_argument('config', help='train config file path')
    parser.add_argument('--cfg-options',
        nargs='+',
        action=DictAction,
        help='要在使用的配置中覆盖某些设置，应采用 xxx=yyy 格式的键值对 它们将被合并到配置文件中。如果要被覆盖的值是一个列表，它应该像')
    # 3. 解析
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    cfg = Config.fromfile(args.config)
    if args.cfg_options is not None:
        cfg.merge_from_dict(args.cfg_options)
    print(cfg)


if __name__ == '__main__':
    main()

新建emample.py：

model = dict(type='CustomModel', in_channels=[1, 2, 3])
optimizer = dict(type='SGD', lr=0.01)

通过命令行的方式修改model和optimizer中的值：

python argparse_demo.py ./example.py 
--cfg-options optimizer.type="Adam" 
--cfg-options model.in_channels="[1, 1, 1]"

结果：