[技术总结]: Pytorch加速和省内存

目录

• [mmengine 相关文档](#mmengine 相关文档)
• [pytorch ddp dataset使用共享内存](#pytorch ddp dataset使用共享内存)
• 加速数据读取
• 一些大规模数据集加载
• [模型多卡训练, 模型并行](#模型多卡训练, 模型并行)

mmengine 相关文档

MMEngine理解

pytorch ddp dataset使用共享内存

关键在于将data_list序列化
mmengine实现

或者使用lmdb数据库也可以

加速数据读取

使用perfectch, pin_memmory, 或者增加worker数

或者使用lmdb数据库

一些大规模数据集加载

大型数据集加载

模型多卡训练, 模型并行

模型并行