[技术总结]: Pytorch加速和省内存

目录

  • [mmengine 相关文档](#mmengine 相关文档)
  • [pytorch ddp dataset使用共享内存](#pytorch ddp dataset使用共享内存)
  • 加速数据读取
  • 一些大规模数据集加载
  • [模型多卡训练, 模型并行](#模型多卡训练, 模型并行)

mmengine 相关文档

MMEngine理解

pytorch ddp dataset使用共享内存

关键在于将data_list序列化
mmengine实现

或者使用lmdb数据库也可以

加速数据读取

使用perfectch, pin_memmory, 或者增加worker数

或者使用lmdb数据库

一些大规模数据集加载

大型数据集加载

模型多卡训练, 模型并行

模型并行

相关推荐
聚客AI10 分钟前
大模型学习进阶路线图:从Prompt到预训练的四阶段全景解析
人工智能·llm·掘金·日新计划
晓131315 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
写个博客39 分钟前
暑假算法日记第二天
算法
DeepSeek大模型官方教程1 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
ChaITSimpleLove1 小时前
.NET9 实现排序算法(MergeSortTest 和 QuickSortTest)性能测试
算法·排序算法·.net·benchmarkdotnet·datadog.trace
CVer儿1 小时前
svd分解求旋转平移矩阵
线性代数·算法·矩阵
Owen_Q1 小时前
Denso Create Programming Contest 2025(AtCoder Beginner Contest 413)
开发语言·算法·职场和发展
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算