[技术总结]: Pytorch加速和省内存

Kross Sun2024-05-03 11:22

目录

  • [mmengine 相关文档](#mmengine 相关文档)
  • [pytorch ddp dataset使用共享内存](#pytorch ddp dataset使用共享内存)
  • 加速数据读取
  • 一些大规模数据集加载
  • [模型多卡训练, 模型并行](#模型多卡训练, 模型并行)

mmengine 相关文档

MMEngine理解

pytorch ddp dataset使用共享内存

关键在于将data_list序列化
mmengine实现

或者使用lmdb数据库也可以

加速数据读取

使用perfectch, pin_memmory, 或者增加worker数

或者使用lmdb数据库

一些大规模数据集加载

大型数据集加载

模型多卡训练, 模型并行

模型并行

相关推荐
AI街潜水的八角10 分钟前
基于C++的决策树C4.5机器学习算法（不调包）
c++·算法·决策树·机器学习
q5673152327 分钟前
在 Bash 中获取 Python 模块变量列
开发语言·python·bash
是萝卜干呀28 分钟前
Backend - Python 爬取网页数据并保存在Excel文件中
python·excel·table·xlwt·爬取网页数据
代码欢乐豆29 分钟前
数据采集之selenium模拟登录
python·selenium·测试工具
白榆maple35 分钟前
(蓝桥杯C/C++）——基础算法(下)
算法
喵~来学编程啦36 分钟前
【论文精读】LPT: Long-tailed prompt tuning for image classification
人工智能·深度学习·机器学习·计算机视觉·论文笔记
JSU_曾是此间年少39 分钟前
数据结构——线性表与链表
数据结构·c++·算法
深圳市青牛科技实业有限公司1 小时前
【青牛科技】应用方案｜D2587A高压大电流DC-DC
人工智能·科技·单片机·嵌入式硬件·机器人·安防监控
狂奔solar1 小时前
yelp数据集上识别潜在的热门商家
开发语言·python
Tassel_YUE1 小时前
网络自动化04：python实现ACL匹配信息（主机与主机信息）
网络·python·自动化
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解