[技术总结]: Pytorch加速和省内存

Kross Sun2024-05-03 11:22

目录

  • [mmengine 相关文档](#mmengine 相关文档)
  • [pytorch ddp dataset使用共享内存](#pytorch ddp dataset使用共享内存)
  • 加速数据读取
  • 一些大规模数据集加载
  • [模型多卡训练, 模型并行](#模型多卡训练, 模型并行)

mmengine 相关文档

MMEngine理解

pytorch ddp dataset使用共享内存

关键在于将data_list序列化
mmengine实现

或者使用lmdb数据库也可以

加速数据读取

使用perfectch, pin_memmory, 或者增加worker数

或者使用lmdb数据库

一些大规模数据集加载

大型数据集加载

模型多卡训练, 模型并行

模型并行

相关推荐
nVisual2 分钟前
nVisual：AI驱动的智能排障，平均响应时间缩短40%
android·人工智能·缓存
白日做梦Q3 分钟前
PyTorch从零手写CNN实现NEU钢材表面缺陷检测（完整实战·单篇完结）
人工智能·pytorch·cnn
星马梦缘8 分钟前
机器学习与模式识别 第十一章 优化于梯度下降 考点压缩
人工智能·机器学习·梯度下降·hessian·条件数
想会飞的蒲公英10 分钟前
TF-IDF + 随机森林中文文本分类全链路实战：从训练脚本到 Flask API + Streamlit 前端
人工智能·pytorch·python·随机森林·分类·flask·tf-idf
AI服务老曹16 分钟前
摄像机安装AI视频分析参数配置说明：POC现场交付全流程指南
人工智能·音视频
小O的算法实验室18 分钟前
2026年ACM TCH，动态救护车路径优化：结合 K-means 聚类与多目标粒子群算法两阶段策略
算法
FriendshipT19 分钟前
Ultralytics：解读C3模块
人工智能·pytorch·python·深度学习·目标检测
极光代码工作室20 分钟前
基于深度学习的异常行为检测系统
人工智能·python·深度学习·神经网络·机器学习
承渊政道20 分钟前
【Python学习】(了解Python背景知识、搭建 Python 环境以及安装PyCharm)
python·学习·pycharm·搭建python环境
在书中成长22 分钟前
HarmonyOS 小游戏《对战五子棋》开发第8篇 - GomokuEngine核心引擎设计（三）：五子连珠判定算法
算法·华为·harmonyos
热门推荐
01GitHub 镜像站点022026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf03AI科技热点日报 | 2026年07月01日04【AI】2026 年具身智能模型和世界模型总结052026 年 AI 大模型 & AI 编程工具实战全总结062026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？072026 AI 编程工具选型横评：Cursor / Claude Code / Trae / Copilot 到底选谁（建议收藏·避坑版）082026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费102026年6月AI大模型全景报告：GPT-5.6、Claude Opus 4.8、Gemini 3.5，中美AI三足鼎立谁主沉浮？