[技术总结]: Pytorch加速和省内存

目录

  • [mmengine 相关文档](#mmengine 相关文档)
  • [pytorch ddp dataset使用共享内存](#pytorch ddp dataset使用共享内存)
  • 加速数据读取
  • 一些大规模数据集加载
  • [模型多卡训练, 模型并行](#模型多卡训练, 模型并行)

mmengine 相关文档

MMEngine理解

pytorch ddp dataset使用共享内存

关键在于将data_list序列化
mmengine实现

或者使用lmdb数据库也可以

加速数据读取

使用perfectch, pin_memmory, 或者增加worker数

或者使用lmdb数据库

一些大规模数据集加载

大型数据集加载

模型多卡训练, 模型并行

模型并行

相关推荐
呆呆的小鳄鱼3 分钟前
cin,cin.get()等异同点[面试题系列]
java·算法·面试
酌沧16 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
Touper.17 分钟前
JavaSE -- 泛型详细介绍
java·开发语言·算法
sun00770020 分钟前
std::forward作用
开发语言·c++·算法
狂师21 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
amazinging21 分钟前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
星辰大海的精灵23 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043125 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元29 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元32 分钟前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai