关于DeepSpeed训练设置的详细说明

在使用DeepSpeed进行训练时,配置和初始化步骤是至关重要的。以下是关于DeepSpeed训练设置的详细说明:

参数解析

DeepSpeed使用argparse库为DeepSpeed运行时提供命令行配置。开发者可以通过调用deepspeed.add_config_arguments()函数将自己的应用参数解析器中添加DeepSpeed内置的参数。这样就可以在启动脚本时传递有关DeepSpeed的配置信息。例如:

python 复制代码
parser = argparse.ArgumentParser(description='My training script.')
parser.add_argument('--local_rank', type=int, default=-1, help='local rank passed from distributed launcher')

# 添加DeepSpeed配置参数
parser = deepspeed.add_config_arguments(parser)
cmd_args = parser.parse_args()

DeepSpeed添加的参数包括:

  1. --deepspeed:布尔标志,用于启用DeepSpeed
  2. --deepspeed_config <json file path>:指定一个JSON配置文件的路径,用于配置DeepSpeed运行时。

训练初始化

所有使用DeepSpeed的训练流程均始于deepspeed.initialize()函数。该函数会自动初始化分布式后端,如果尚未初始化的话。

python 复制代码
model_engine, optimizer, _, _ = deepspeed.initialize(
    args=cmd_args,
    model=net,
    model_parameters=net.parameters()
)

deepspeed.initialize()函数接收一系列参数来初始化DeepSpeed引擎:

  • args: 包含local_rankdeepspeed_config字段的对象,如果传入了config参数,则args不是必需的。
  • model: 必需参数,未经任何封装前的原始nn.module类实例。
  • optimizer: 可选参数,用户定义的优化器对象或返回优化器对象的可调用函数,这将覆盖DeepSpeed JSON配置文件中定义的优化器。
  • model_parameters: 可选参数,一个包含待优化参数的迭代器,通常为模型参数列表或字典。
  • training_data: 可选参数,类型为torch.utils.data.Dataset的训练数据集。
  • lr_scheduler: 可选参数,学习率调度器对象或返回调度器对象的可调用函数,该调度器需要有get_lr(), step(), state_dict(), 和 load_state_dict()等方法。
  • distributed_port: 可选参数,主机(rank 0)用于分布式训练通信的可用端口。
  • mpu: 可选参数,一个实现模型并行相关接口的模型并行单元对象。
  • dist_init_required: 可选参数,如果设为None,当需要时会自动初始化torch分布式;否则,用户可通过布尔值控制是否初始化。
  • collate_fn: 可选参数,用于将样本列表合并成mini-batch的函数,适用于从map-style数据集中批量加载数据。
  • config: 可选参数,可以直接传入DeepSpeed配置文件的路径或字典,替代从命令行通过--deepspeed_config传入的方式。
  • config_params: 可选参数,与config相同,保留以兼容旧版本。

函数返回一个包含引擎、优化器、训练数据加载器和学习率调度器的元组。

分布式初始化

为了满足某些特定场景的需求(比如模型并行、流水线并行或者特殊的数据加载器场景),可以在调用deepspeed.initialize()之前单独初始化分布式后端,这时可以使用deepspeed.init_distributed()函数:

python 复制代码
deepspeed.init_distributed(
    dist_backend=None,
    auto_mpi_discovery=True,
    distributed_port=29500,
    verbose=True,
    timeout=datetime.timedelta(seconds=1800),
    init_method=None,
    dist_init_required=None,
    config=None,
    rank=-1,
    world_size=-1
)

此函数允许用户根据需求选择torch分布式后端,设置通信端口、日志详细程度、超时时间以及其他与初始化相关的参数,以便在不同的并行化方案中正确初始化分布式环境。

相关推荐
海洲探索-Hydrovo2 小时前
TTP Aether X 天通透传模块丨国产自主可控大数据双向通讯定位模组
网络·人工智能·科技·算法·信息与通信
2401_841495645 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
Jonkin-Ma5 小时前
每日算法(1)之单链表
算法
晚风残6 小时前
【C++ Primer】第六章:函数
开发语言·c++·算法·c++ primer
杨云强6 小时前
离散积分,相同表达式数组和公式
算法
地平线开发者6 小时前
征程 6 | BPU trace 简介与实操
算法·自动驾驶
满天星83035776 小时前
【C++】AVL树的模拟实现
开发语言·c++·算法·stl
Lris-KK6 小时前
力扣Hot100--94.二叉树的中序遍历、144.二叉树的前序遍历、145.二叉树的后序遍历
python·算法·leetcode
麦麦鸡腿堡7 小时前
Java的动态绑定机制(重要)
java·开发语言·算法
zy_destiny7 小时前
【工业场景】用YOLOv8实现抽烟识别
人工智能·python·算法·yolo·机器学习·计算机视觉·目标跟踪