【报错】服务器 cuda out of memory

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 0; 23.64 GiB total capacity; 21.55 GiB already allocated; 17.75 MiB free; 21.60 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0; 23.64 GiB total capacity; 17.64 GiB already allocated; 118.25 MiB free; 19.15 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF翻译这段话
运行时错误:CUDA内存不足。尝试分配 2.00 GiB 的内存(GPU 0;总容量为 23.64 GiB;已分配 17.64 GiB;可用内存为 118.25 MiB;PyTorch 已保留 19.15 GiB 总内存)。如果保留的内存远大于分配的内存,试着设置 `max_split_size_mb` 以避免内存碎片化。有关内存管理和 `PYTORCH_CUDA_ALLOC_CONF` 的更多信息,请参阅文档。

batch size 改小 4→2

硬件跟不上,深度学习真玩不起

无卡启用 V100

有卡启用 V100

相关推荐
花酒锄作田8 小时前
使用 pkgutil 实现动态插件系统
python
前端付豪12 小时前
LangChain链 写一篇完美推文?用SequencialChain链接不同的组件
人工智能·python·langchain
曲幽13 小时前
FastAPI实战:打造本地文生图接口,ollama+diffusers让AI绘画更听话
python·fastapi·web·cors·diffusers·lcm·ollama·dreamshaper8·txt2img
老赵全栈实战13 小时前
Pydantic配置管理最佳实践(一)
python
阿尔的代码屋19 小时前
[大模型实战 07] 基于 LlamaIndex ReAct 框架手搓全自动博客监控 Agent
人工智能·python
AI探索者2 天前
LangGraph StateGraph 实战:状态机聊天机器人构建指南
python
AI探索者2 天前
LangGraph 入门:构建带记忆功能的天气查询 Agent
python
FishCoderh2 天前
Python自动化办公实战:批量重命名文件,告别手动操作
python
躺平大鹅2 天前
Python函数入门详解(定义+调用+参数)
python
曲幽2 天前
我用FastAPI接ollama大模型,差点被asyncio整崩溃(附对话窗口实战)
python·fastapi·web·async·httpx·asyncio·ollama